Text authenticity in international reading literacy assessment : focusing on PISA 2000

Abstract

Sari Sulkunen tutki väitöstyössään PISAn (Programme for International Student Assessment) lukutaitokokeessa olleiden tekstien autenttisuutta eli tyypillisyyttä ja kiinnostavuutta suomalaisnuorten kokemuspiirissä. Hän selvitti PISAn lukukokeen tekstien kulttuurista sopivuutta 15-vuotiaille suomalaisnuorille. - PISAn lukutaitokokeessa vuonna 2000 olleet tekstit heijastavat aika huonosti suomalaisnuorten tekstimaailmaa. Tekstien tyypillisyys ja erityisesti kiinnostavuus osoittautui vaatimattomaksi, mutta tytöt arvioivat tekstit sekä tyypillisyyden että erityisesti kiinnostavuuden näkökulmasta poikia positiivisemmin. Erityisenä haasteena lukutaitokokeissa näyttää siis olevan poikia kiinnostavien tekstien löytäminen, Sulkunen kertoo. Tulokset vahvistivat aiemmissa tutkimuksissa havaitut erot tyttöjen ja poikien tekstimaailmojen välillä. PISA-kokeen teksteissä oli kummallekin sukupuolelle yhteisiä tekstejä, esimerkiksi sanomalehdestä peräisin olevia uutisia, elokuva-arvosteluja ja artikkeleita, mutta monen tekstin kohdalla sukupuolierot tyypillisyydessä ja kiinnostavuudessa olivat selvät. Tytöistä tyypillisiä ja kiinnostavia tekstejä olivat mm. mielipidekirjoitukset, poikia kiinnosti puolestaan mm. tietopohjainen teksti etelänavan valloittamisesta Lukutaitokokeen kohderyhmänä olevien – PISAn tapauksessa 15-vuotiaiden nuorten – tekstimaailman tavoittaminen kokeessa on tärkeää, jotta kokeen tulosten perusteella voisi sanoa jotain todellista siitä lukutaidosta, jota nuoret käyttävät todellisissa lukemistilanteissa. Kokeen validiuden eli pätevyyden kannalta tämä on olennaista. Toisaalta vastaajille tyypilliset ja kiinnostavat tekstit saattavat myös motivoida heitä koetilanteessa. - PISAn lukukokeen validiutta voisi suomalaisnuorten kulttuurin näkökulmasta vielä parantaa. Tekstivalikoima voisi olla myös motivoivampi, Sulkunen suosittaa. PISAn kaltaisessa kansainvälisessä lukutaidon arvioinnissa, jossa osallistuvia maita on mukana kymmeniä, tekstien kulttuurinen tyypillisyys ja sopivuus korostuvat. Kokeen tulosten pitäisi olla vertailukelpoisia jokaisessa osallistuvassa maassa, joten kokeessa olevien tekstien pitäisi olla yhtä tyypillisiä ja kiinnostavia eli autenttisia kaikissa osallistujamaissa. Niissä maissa, joissa lukutaidon arvioinnin tulokset ovat olleet odotettuja heikompia, tulosta on osaltaan selitetty kokeen sisältämien tekstien ja tehtävien kulttuurisella epätyypillisyydellä. Sulkusen mukaan tekstivalikoima ei tosin vaikuttaisi suosivan suomalaisnuoriakaan, joiden tulokset ovat PISAssa olleet erinomaisia. Tutkimus koostui kahdesta eri vaiheesta. Esitutkimusvaiheessa 8-henkinen paneeli arvioi tekstien tyypillisyyttä. Tämän vaiheen tarkoituksena oli selvittää, mitkä tekstien ominaisuudet ovat lukijoille olennaisia niiden autenttisuutta arvioitaessa. Esitutkimusvaiheen tulosten perusteella laadittiin päätutkimusvaiheessa käytetty kysely, johon vastasi yhteensä 240 suomalaisnuorta. Kyselyssä heitä pyydettiin arvioimaan PISAn lukutaitokokeessa vuonna 2000 olleiden tekstien aiheen, tekstilajin, ulkoasun ja kielen tyypillisyyttä ja kiinnostavuutta. Nuoret myös perustelivat arvionsa kirjallisesti.

The purpose of this study was to investigate how authentic in terms of text typicality and interest the texts used in PISA 2000 reading literacy assessment were to Finnish 15-year-old students. The study consisted of two phases. In the pilot phase, an 8-member panel reviewed the texts from the point of view of text typicality. The results showed that the most essential textual features in evaluating text authenticity were the topic, the genre, the layout and the language used. Based on these results a questionnaire for the main study was designed. Questionnaire was presented for 240 15-year-olds who evaluated and rated the typicality and interest of PISA texts’ topic, genre, layout and language on a scale from 1 to 4. The results showed that the PISA texts were overall only moderately authentic in terms of typicality and interest to 15-year-old Finnish students. Furthermore, texts tended to be more typical than interesting. There were clear gender differences on which texts were found authentic but also texts that were equally typical and interesting for both genders. Overall, girls rated the texts more positively than boys. Based on the results it was concluded that the aim of choosing authentic texts for reading literacy test is important from the point of view of test validity. PISA texts, however, succeed only partially in achieving this aim as they form rather a pale reflection of texts authentic to 15-year-olds. In future, special concern should be in selecting texts more interesting to the target-group, particularly to boys.