"Tuhoaa otsoonikerrosta ja siihen tarvitsee rahotusta välttämällä ongelmia jota niistä aiheutuu" : avovastausten arvioinnin ongelmat PISAn lukutaidon kokeessa

Abstract

Tämän tutkimuksen päätavoitteena on kartoittaa PISAn lukutaidon kokeen avovastausten arvioinnin ongelmia. Aihealuetta ei ole tähän mennessä kokoavasti tutkittu. Tämän lisäksi tutkimuksessa halutaan selvittää, missä määrin lukutaidon koe mahdollisesti arvioi muutakin kuin lukutaitoa – voidaanko arviointiongelmilla esittää olevan yhteyttä kokeen validiteettiin. Tulokset voivat tarjota apua esimerkiksi tehtävänantojen ja niihin liittyvien arviointikriteerien kehittämiseen.

Tutkimuksessa selvitettiin, millaisia kirjoittamisen ongelmia lukukokeen avovastauksissa esiintyi, millaiset kielelliset piirteet heikensivät niiden ymmärrettävyyttä sekä tarkasteltiin kirjoittamisen ongelmien vaikutusta vastausten arviointiin. Myös tehtävänantojen ja arviointikriteerien puutteet ja niiden vaikutus arviointiin olivat lähemmän tarkastelun kohteena.

Tutkimuksen aineisto muodostui PISA 2000 -lukutaidon kokeen neljästä tehtävänannosta ja niihin liittyvistä suomalaisoppilaiden avovastauksista. Arvioinnin yhdenmukaisuuden takaamiseksi aineiston vastaukset oli pisteytetty neljään kertaan niin, että kullakin kerralla tehtävän oli pisteyttänyt eri arvioija. Nelinkertaisesti pisteytettyjä vastauksia oli yhteensä 528 kappaletta. Aineistoon sisältyivät lisäksi arvioinnin yleisohjeet, alkuperäiset tehtäväkohtaiset pisteytysohjeet sekä muu arvioinnin tukena käytetty materiaali. Aineisto analysoitiin laadullisesti.

Aineistosta löytyi runsaasti erityyppisiä kirjoittamisen ongelmia. Merkitykseltään epäselviksi jäävien vastausten pohjalta ei voida tehdä luotettavia päätelmiä oppilaiden lukutaidon tasosta. Tutkimuksen tulokset osoittivat puutteita myös tehtävänantojen muotoilussa ja vastausten arviointikriteereissä. Kaikilta osin tehtävät eivät siis onnistuneet mittaamaan sitä lukutaitoa, mitä väittivät mittaavansa. Tulosten pohjalta voidaan todeta, että tehtävänantojen ja pisteytysohjeiden toimivuuteen tulisi kiinnittää enemmän huomiota. Tulokset herättävät myös kysymyksiä avoimien tehtävien soveltuvuudesta lukutaidon arviointiin. Lisää tutkimusta aiheesta tarvitaan.