Arvioinnin epävarmuus ja epävarmuuden vaikutukset arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI): tutkimusaineisto
Rater uncertainty and its impact on the quality of assessment in the official language examination, the National Certificates of Language Proficiency (YKI): research dataset
Honko, Mari; Neittaanmäki, Reeta; Huhta, Ari; Jarvis, Scott. Rater uncertainty and its impact on the quality of assessment in the official language examination, the National Certificates of Language Proficiency (YKI): research dataset. V. 30.6.2022. University of Jyväskylä. 10.17011/jyx/dataset/88217
Päivämäärä
2023Pääsyrajoitukset
Restricted use due to personal information protection. You can still contact author to ask for a copy of the material.
Tekijänoikeudet
Honko, Mari, Neittaanmäki, Reeta, Huhta, Ari, Jarvis, Scott and University of Jyväskylä
Tutkimuksessa tarkastellaan kielitaidon arvioijien kokemaa epävarmuutta sekä epävarmuuden vaikutusta arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI). Aineisto kerättiin vuosina 2021-2022. Tutkimukseen osallistui yhteensä 27 puhumisen ja 23 kirjoittamisen arvioijaa, jotka olivat suorittaneet arvioijana toimimiseen vaadittavan arvioijakoulutuksen ja joilla oli Opetushallituksen myöntämä lupa arvioijana toimimiseen. Tutkimuksen aikana arvioijat pohtivat ja erittelivät kokemaansa epävarmuutta yleisesti sekä yhden tutkintokerran arviointien aikana. Aineisto koostuu kolmen verkkokyselyn vastauksista (alkukysely, sessiokyselyt kunkin arviointirupeaman lopussa, loppukysely) sekä arvioinnin aikana tehdyistä muistiinpanoista. Lisäksi aineistoon on yhdistetty tieto arvioijien antamista taitotasoarvioista sekä tietoa arvioijakokemuksen määrästä. Aineiston analysoinnissa on käytetty sekä laadullisia että määrällisiä menetelmiä. The study examines the uncertainty experienced by language raters and the impact of uncertainty on the quality of assessment in the National Certificates of Language Proficiency (YKI), an official language test for adults in Finland. A total of 27 speaking and 23 writing raters participated in the study. The raters had completed the training required and were licensed by the Finnish National Agency for Education to act as raters. During the study, the raters reflected on their lived experiences of uncertainty in general and concerning one particular examination round. The data consists of responses to three online surveys (initial survey, session surveys, final survey) and notes taken during the assessment. In addition, the proficiency ratings and information on rater experience are included in the data. Both qualitative and quantitative methods were used to analyse the data.
Julkaisija
University of JyväskyläSisältää aineistoja
- Honko, Mari; Neittaanmäki, Reeta; Huhta, Ari; Jarvis, Scott. Instrument to study rater behaviour: Rater uncertainty and its impact on the quality of assessment in the official language examination, the National Certificates of Language Proficiency (YKI) project . V. 30.6.2021. University of Jyväskylä. https://doi.org/10.17011/jyx/dataset/88216
Asiasanat
Aineisto tutkimustietojärjestelmässä
https://converis.jyu.fi/converis/portal/detail/ResearchDataset/183664518
Metadata
Näytä kaikki kuvailutiedotKokoelmat
- Tutkimusdata [241]
Rahoittaja(t)
Lisenssi
Samankaltainen aineisto
Näytetään aineistoja, joilla on samankaltainen nimeke tai asiasanat.
-
Arvioijakäyttäytymisen mittari: tutkimuskyselyt sekä muistiinpanotaulukko Arvioinnin epävarmuus ja epävarmuuden vaikutukset arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI) -tutkimuksesta
Honko, Mari; Neittaanmäki, Reeta; Huhta, Ari; Jarvis, Scott (University of Jyväskylä, 2023)This research instrument was developed for a study on the uncertainty experienced by language raters and the impact of uncertainty on the quality of assessment in the official language examination, the National Certificates ... -
Arvioinnin epävarmuus ja sen vaikutukset arvioinnin laatuun suomen kielen puhumisen taidon testiarvioinnissa
Honko, Mari; Neittaanmäki, Reeta (Puheen ja kielen tutkimuksen yhdistys ry, 2023)Tutkimuksessa tarkastellaan koulutettujen kielitaidon arvioijien arviointivarmuutta ja sen vaikutusta arvioinnin laatuun aikuisten suomenoppijoiden puhumisen taidon testiarvioinnissa. Aineisto koostuu 12 059 tehtäväkohtaisesta ... -
Ensikielen tunnistamisen merkityksestä suullisen kielitaidon arvioinnissa Yleisissä kielitutkinnoissa
Halonen, Mia; Huhta, Ari; Ahola, Sari; Hirvelä, Tuija; Neittaanmäki, Reeta; Ohranen, Sari; Ullakonoja, Riikka (Suomen soveltavan kielitieteen yhdistys ry, 2020)In this paper, we present a multidisciplinary study addressing fairness in the speaking test in a high-stakes language proficiency test in Finnish, National Certificates of Language Proficiency. The background of the ... -
‘Broken Finnish’ : Speaker L1 and its recognition affecting rating in National Certificates of Language Proficiency test in Finnish
Ahola, Sari; Halonen, Mia (Association of Language Testers in Europe, 2021)As many European countries have language proficiency requirements for obtaining citizenship, language testing is a possible source of social inequality. The ‘Broken Finnish’ project has been set up to ensure test fairness ... -
Yleisten kielitutkintojen (Yki) pitkittäistutkimusaineisto 2009-2019
Ohranen, Sari; Huhta, Ari; Neittaanmäki, Reeta; Hirvelä, Tuija; Ahola, Sari; Ullakonoja, Riikka; Halonen, Mia (2023)Longitudinal data of the National Certificate for Language Proficiency (NCLP) 2009-2019 consist of 1) the assessment data; 2) background information of the raters of the NCLP (N = 122), and 3) background information of the ...
Ellei toisin mainittu, julkisesti saatavilla olevia JYX-metatietoja (poislukien tiivistelmät) saa vapaasti uudelleenkäyttää CC0-lisenssillä.