Instrument to study rater behaviour: Rater uncertainty and its impact on the quality of assessment in the official language examination, the National Certificates of Language Proficiency (YKI) project

Abstract

This research instrument was developed for a study on the uncertainty experienced by language raters and the impact of uncertainty on the quality of assessment in the official language examination, the National Certificates of Language Proficiency. The instrument consists of three online questionnaires using Webropol software and a note-taking sheet using Excel spreadsheet software. The survey focused on the assessment of speaking and writing in the intermediate-level Finnish language examination.

The questions in the survey include both closed and open questions. Two almost identical versions of all the questionnaires and the Excel sheet were created for the collection of data for the different survey phases. In the published instrument, the versions are combined and the differences between the original questionnaires are explained.

Informal English translations of the research instrument was made after collecting the data.

Mittari laadittiin tutkimukseen, joka käsittelee kielitaidon arvioijien kokemaa epävarmuutta sekä epävarmuuden vaikutuksia arvioinnin laatuun virallisessa kielitutkinnossa, Yleisissä kielitutkinnoissa. Mittari koostuu kolmesta erillisestä Webropol-ohjelmalla toteutetusta verkkokyselystä sekä Excel-taulukkolaskentaohjelmalla tehdystä muistiinpanopohjasta. Tutkimus kohdistui suomen kielen keskitason tutkinnon puhumisen ja kirjoittamisen arviointiin.

Mittarin kyselyihin sisältyy sekä suljettuja että avoimia kysymyksiä. Kaikista kyselyistä ja Excel-pohjasta tehtiin kaksi lähes identtistä versiota eri tutkimusvaiheiden keruita varten. Julkaistussa mittarissa versiot on yhdistetty ja alkuperäisten kyselyjen eroavaisuuden selitetty sanallisesti.

Epäviralliset englanninkieliset käännökset mittarista on tehty tutkimuksen toteuttamisen jälkeen.