Arvioinnin epävarmuus ja sen vaikutukset arvioinnin laatuun suomen kielen puhumisen taidon testiarvioinnissa
Honko, M., & Neittaanmäki, R. (2023). Arvioinnin epävarmuus ja sen vaikutukset arvioinnin laatuun suomen kielen puhumisen taidon testiarvioinnissa. Puhe ja kieli, 43(4), 171-194. https://doi.org/10.23997/pk.144389
Julkaistu sarjassa
Puhe ja kieliPäivämäärä
2023Tekijänoikeudet
© 2023 Puheen ja kielen tutkimuksen yhdistys ry
Tutkimuksessa tarkastellaan koulutettujen kielitaidon arvioijien arviointivarmuutta ja sen vaikutusta arvioinnin laatuun aikuisten suomenoppijoiden puhumisen taidon testiarvioinnissa. Aineisto koostuu 12 059 tehtäväkohtaisesta puhumisen taitotasoarviosta ja arvioinnin aikana tehdyistä muistiinpanoista sekä kyselytiedosta. Analyysimetodeina käytetään laadullista sisällönanalyysia ja sisällön erittelyä sekä tilastollisia menetelmiä. Tulosten perusteella arvioijat olivat pääsääntöisesti varmoja antamistaan puhumisen taitotasoarvioista mutta jäivät silti ainakin satunnaisesti epävarmaksi arvioistaan. Kun epävarmuutta esiintyi, se kohdistui tyypillisesti tietyn suorittajan tehtäväkokonaisuudessa vain yhteen tehtäväkohtaiseen arvioon. Arvioijat nimesivät epävarmuudelle useita syitä. Arviointikokemuksen pituus vuosina ei ollut yhteydessä arviointivarmuuteen. Epävarmuuden määrä vaihteli arvioinnin eri vaiheissa siten, että epävarmuus oli suurinta arvioinnin alussa ja lisääntyi myös toisen arvioijan aiemmin arvioitujen suoritusten saapuessa kaksoisarviointiin. Epävarmuuden kohdentuminen oli pitkälti yksilöllistä, sillä kaksoisarvioiduissa suorituksissa arvioijien epävarmuus kohdistui pääosin eri puhujien suorituksiin. Koettu epävarmuus ei vaikuttanut arvioinnin laatuun eli sen johdonmukaisuuteen tai ankaruuteen/lempeyteen. Arvioinnin laatutekijöistä ja riittävästä arviointivarmuudesta huolehtiminen on kuitenkin tärkeää, jotta epävarmuus ei kuormita arvioijia liikaa ja jotta arvioinnin luotettavuus säilyy.
...
Julkaisija
Puheen ja kielen tutkimuksen yhdistys ryISSN Hae Julkaisufoorumista
1458-3410Asiasanat
Julkaisu tutkimustietojärjestelmässä
https://converis.jyu.fi/converis/portal/detail/Publication/207651668
Metadata
Näytä kaikki kuvailutiedotKokoelmat
Lisenssi
Samankaltainen aineisto
Näytetään aineistoja, joilla on samankaltainen nimeke tai asiasanat.
-
Arvioijakäyttäytymisen mittari: tutkimuskyselyt sekä muistiinpanotaulukko Arvioinnin epävarmuus ja epävarmuuden vaikutukset arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI) -tutkimuksesta
Honko, Mari; Neittaanmäki, Reeta; Huhta, Ari; Jarvis, Scott (University of Jyväskylä, 2023)This research instrument was developed for a study on the uncertainty experienced by language raters and the impact of uncertainty on the quality of assessment in the official language examination, the National Certificates ... -
Arvioinnin epävarmuus ja epävarmuuden vaikutukset arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI): tutkimusaineisto
Honko, Mari; Neittaanmäki, Reeta; Huhta, Ari; Jarvis, Scott (University of Jyväskylä, 2023)Tutkimuksessa tarkastellaan kielitaidon arvioijien kokemaa epävarmuutta sekä epävarmuuden vaikutusta arvioinnin laatuun Yleisissä kielitutkinnoissa (YKI). Aineisto kerättiin vuosina 2021-2022. Tutkimukseen osallistui ... -
Tilannetehtävät Yleisten kielitutkintojen suomen keskitason tutkinnon puhumisen osakokeessa
Ahola, Sari; Tossavainen, Henna (Suomen soveltavan kielitieteen yhdistys ry, 2013)One task type in the oral test in the Finnish National Certificates (NC) language testing system is reacting to situations. This paper reports a content analysis of the task rubrics of five situational tasks used in the ... -
Rimaa hipoen selviää tilanteesta – Yleisten kielitutkintojen suomen kielen arvioijien käsityksiä arvioinnista ja suullisesta kielitaidosta [Klarar med nöd och näppe av en taluppgift – bedömarnas uppfattningar om språkbedömning och muntliga färdigheter i provet i finska i Allmänna Språkexamina]. Jyväskylän yliopisto [Jyväskylä universitet]
Ahola, Sari (Universitetsforlaget, 2023) -
Statistical analyses of project Broken Finnish (Rikkinäistä suomea)
Ahola, Sari; Halonen, Mia; Neittaanmäki, Reeta; Hirvelä, Tuija (2023)Rikkinäistä suomea -Akatemia-hankeaineiston R-, facets-, MFRM-analyyseja. Esimerkiksi vuorovaikutuksia seuraavien muuttujien/tekijöiden välillä: arviointikriteerit (yleistaitotasoarvio; yleiskriteeri, sujuvuus, koherenssi, ...
Ellei toisin mainittu, julkisesti saatavilla olevia JYX-metatietoja (poislukien tiivistelmät) saa vapaasti uudelleenkäyttää CC0-lisenssillä.