Rater uncertainty and its impact on the quality of assessment in the official language examination, the National Certificates of Language Proficiency (YKI): research dataset

Abstract

Tutkimuksessa tarkastellaan kielitaidon arvioijien kokemaa epävarmuutta sekä epävarmuuden vaikutusta arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI). Aineisto kerättiin vuosina 2021-2022. Tutkimukseen osallistui yhteensä 27 puhumisen ja 23 kirjoittamisen arvioijaa, jotka olivat suorittaneet arvioijana toimimiseen vaadittavan arvioijakoulutuksen ja joilla oli Opetushallituksen myöntämä lupa arvioijana toimimiseen. Tutkimuksen aikana arvioijat pohtivat ja erittelivät kokemaansa epävarmuutta yleisesti sekä yhden tutkintokerran arviointien aikana. Aineisto koostuu kolmen verkkokyselyn vastauksista (alkukysely, sessiokyselyt kunkin arviointirupeaman lopussa, loppukysely) sekä arvioinnin aikana tehdyistä muistiinpanoista. Lisäksi aineistoon on yhdistetty tieto arvioijien antamista taitotasoarvioista sekä tietoa arvioijakokemuksen määrästä. Aineiston analysoinnissa on käytetty sekä laadullisia että määrällisiä menetelmiä.

The study examines the uncertainty experienced by language raters and the impact of uncertainty on the quality of assessment in the National Certificates of Language Proficiency (YKI), an official language test for adults in Finland. A total of 27 speaking and 23 writing raters participated in the study. The raters had completed the training required and were licensed by the Finnish National Agency for Education to act as raters. During the study, the raters reflected on their lived experiences of uncertainty in general and concerning one particular examination round. The data consists of responses to three online surveys (initial survey, session surveys, final survey) and notes taken during the assessment. In addition, the proficiency ratings and information on rater experience are included in the data. Both qualitative and quantitative methods were used to analyse the data.