Arvioinnin epävarmuus ja sen vaikutukset arvioinnin laatuun suomen kielen puhumisen taidon testiarvioinnissa

Abstract

Tutkimuksessa tarkastellaan koulutettujen kielitaidon arvioijien arviointivarmuutta ja sen vaikutusta arvioinnin laatuun aikuisten suomenoppijoiden puhumisen taidon testiarvioinnissa. Aineisto koostuu 12 059 tehtäväkohtaisesta puhumisen taitotasoarviosta ja arvioinnin aikana tehdyistä muistiinpanoista sekä kyselytiedosta. Analyysimetodeina käytetään laadullista sisällönanalyysia ja sisällön erittelyä sekä tilastollisia menetelmiä. Tulosten perusteella arvioijat olivat pääsääntöisesti varmoja antamistaan puhumisen taitotasoarvioista mutta jäivät silti ainakin satunnaisesti epävarmaksi arvioistaan. Kun epävarmuutta esiintyi, se kohdistui tyypillisesti tietyn suorittajan tehtäväkokonaisuudessa vain yhteen tehtäväkohtaiseen arvioon. Arvioijat nimesivät epävarmuudelle useita syitä. Arviointikokemuksen pituus vuosina ei ollut yhteydessä arviointivarmuuteen. Epävarmuuden määrä vaihteli arvioinnin eri vaiheissa siten, että epävarmuus oli suurinta arvioinnin alussa ja lisääntyi myös toisen arvioijan aiemmin arvioitujen suoritusten saapuessa kaksoisarviointiin. Epävarmuuden kohdentuminen oli pitkälti yksilöllistä, sillä kaksoisarvioiduissa suorituksissa arvioijien epävarmuus kohdistui pääosin eri puhujien suorituksiin. Koettu epävarmuus ei vaikuttanut arvioinnin laatuun eli sen johdonmukaisuuteen tai ankaruuteen/lempeyteen. Arvioinnin laatutekijöistä ja riittävästä arviointivarmuudesta huolehtiminen on kuitenkin tärkeää, jotta epävarmuus ei kuormita arvioijia liikaa ja jotta arvioinnin luotettavuus säilyy.