Show simple item record

dc.contributor.authorZansen, Anna von
dc.contributor.authorKallio, Heini
dc.contributor.authorSneck, Milla
dc.contributor.authorKuronen, Mikko
dc.contributor.authorHuhta, Ari
dc.contributor.authorHildén, Raili
dc.contributor.editorSeppälä, Tanja
dc.contributor.editorLesonen, Sirkku
dc.contributor.editorIikkanen, Päivi
dc.contributor.editorD'hondt, Sigurd
dc.date.accessioned2022-12-13T11:09:43Z
dc.date.available2022-12-13T11:09:43Z
dc.date.issued2022
dc.identifier.citationZansen, A. V., Kallio, H., Sneck, M., Kuronen, M., Huhta, A., & Hildén, R. (2022). Ihmisarvioijien näkemyksiä suullisen kielitaidon automaattisesta arvioinnista, digitaalisesta arviointiprosessista sekä puhesuorituksista arvioitavista ulottuvuuksista. In T. Seppälä, S. Lesonen, P. Iikkanen, & S. D'hondt (Eds.), <i>Kieli, muutos ja yhteiskunta</i> (pp. 370-394). Suomen soveltavan kielitieteen yhdistys AFinLA. AFinLA:n vuosikirja, 2022. <a href="https://doi.org/10.30661/afinlavk.114821" target="_blank">https://doi.org/10.30661/afinlavk.114821</a>
dc.identifier.otherCONVID_164250737
dc.identifier.urihttps://jyx.jyu.fi/handle/123456789/84342
dc.description.abstractDigitaaliset kielikokeet ovat nykypäivää muun muassa ylioppilastutkinnossa, ja lähes jokaisessa oppilaitoksessa on jonkinlainen digitaalinen oppimis- ja opetusalusta. Tekniikka on mullistanut kielitaidon testaamisen ja harjoittelun, mutta täysin automaattiset suullisen kielitaidon kokeet ovat vielä harvinaisia kansainvälisestikin. Tekoäly on kuitenkin arkipäiväistymässä monilla elämänalueilla, ja se herättää monenlaisia mielikuvia ja pohdintaa sen vaikutuksista ja eettisyydestä. Artikkelissa kartoitamme ja analysoimme ihmisarvioijien näkemyksiä digitaalisesti toteutetusta arviointiprosessista, jossa keräsimme ihmisarvioijilta arvioita suomen ja ruotsin puhenäytteisiin. Tutkimme myös arviointikierroksille osallistuneiden näkemyksiä suullisen kielitaidon automaattisesta arvioinnista. Kolmas tutkimuskysymyksemme (ks. luku 2) liittyy tehtävänannon ja puheen ulottuvuuksiin, joita puhesuorituksista arvioidaan. Tutkimus on osa DigiTala-tutkimushanketta (Kautonen & von Zansen 2020), jossa kehitetään puheentunnistusta, automaattista puheen arviointia sekä automaattista palautetta suomen ja ruotsin oppijoille (von Zansen ym. arvioitavana). Automatiikka lisää mahdollisuuksia puheen itsenäiseen harjoitteluun (von Zansen ym. arvioitavana). Suurissa ja tärkeissä (high-stakes) kokeissa se voi toimia ihmisarvioinnin tukena, vähentää arvioijien työtaakkaa sekä lisätä arvioinnin objektiivisuutta. Ihmisen tekemään arvioon voivat vaikuttaa esimerkiksi erilaiset testattavan yksilölliset tai kielelliset piirteet, kuten aksentteihin liittyvät ennakkokäsitykset (Halonen ym. 2020). Nykynäkemyksen mukaan arviointiin osallistuvien monien toimijoiden välinen tiedonkulku ja dialogi ovat tärkeitä laadukkaalle arvioinnille. Näitä osallisia (stakeholders) ovat niin laatijat ja käyttäjät kuin arvioitavatkin (Hidri 2020), ja kaikkien osapuolten näkemykset on syytä huomioida jo arviointivälineiden kehittelyvaiheessa. Arvioijien tai edes opettajien käsityksiä automaattisesta suullisen kielitaidon arvioinnista ei tietojemme mukaan ole aikaisemmin tutkittu. Tutkimustiedon avulla voimme kehittää automaattisen arvioinnin menetelmiä oikeudenmukaisiksi ja käyttökelpoisiksi.fi
dc.description.abstractThis study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment.en
dc.format.extent433
dc.format.mimetypeapplication/pdf
dc.language.isofin
dc.publisherSuomen soveltavan kielitieteen yhdistys AFinLA
dc.relation.ispartofKieli, muutos ja yhteiskunta
dc.relation.ispartofseriesAFinLA:n vuosikirja
dc.relation.urihttps://journal.fi/afinlavk/article/view/114821
dc.rightsIn Copyright
dc.titleIhmisarvioijien näkemyksiä suullisen kielitaidon automaattisesta arvioinnista, digitaalisesta arviointiprosessista sekä puhesuorituksista arvioitavista ulottuvuuksista
dc.typebookPart
dc.identifier.urnURN:NBN:fi:jyu-202212135599
dc.contributor.laitosSoveltavan kielentutkimuksen keskusfi
dc.contributor.laitosKieli- ja viestintätieteiden laitosfi
dc.contributor.laitosCentre for Applied Language Studiesen
dc.contributor.laitosDepartment of Language and Communication Studiesen
dc.contributor.oppiaineRuotsin kielifi
dc.contributor.oppiaineSoveltava kielentutkimusfi
dc.contributor.oppiaineSwedishen
dc.contributor.oppiaineApplied language studiesen
dc.type.urihttp://purl.org/eprint/type/BookItem
dc.relation.isbn978-951-9388-74-8
dc.type.coarhttp://purl.org/coar/resource_type/c_3248
dc.description.reviewstatuspeerReviewed
dc.format.pagerange370-394
dc.relation.issn2343-2608
dc.type.versionpublishedVersion
dc.rights.copyright© Kirjoittajat & Suomen soveltavan kielitieteen yhdistys ry, 2022
dc.rights.accesslevelopenAccessfi
dc.relation.grantnumber322965
dc.subject.ysoarviointimenetelmät
dc.subject.ysoarviointi
dc.subject.ysosuullinen kielitaito
dc.subject.ysokielitaito
dc.subject.ysoruotsin kieli
dc.subject.ysosuomen kieli
dc.subject.ysotekoäly
dc.format.contentfulltext
jyx.subject.urihttp://www.yso.fi/onto/yso/p15768
jyx.subject.urihttp://www.yso.fi/onto/yso/p7413
jyx.subject.urihttp://www.yso.fi/onto/yso/p17782
jyx.subject.urihttp://www.yso.fi/onto/yso/p5797
jyx.subject.urihttp://www.yso.fi/onto/yso/p12469
jyx.subject.urihttp://www.yso.fi/onto/yso/p8856
jyx.subject.urihttp://www.yso.fi/onto/yso/p2616
dc.rights.urlhttp://rightsstatements.org/page/InC/1.0/?language=en
dc.relation.doi10.30661/afinlavk.114821
dc.relation.funderResearch Council of Finlanden
dc.relation.funderSuomen Akatemiafi
jyx.fundingprogramAcademy Project, AoFen
jyx.fundingprogramAkatemiahanke, SAfi
jyx.fundinginformationTutkimus on osa DigiTala-tutkimushanketta.
dc.type.okmA3


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

In Copyright
Except where otherwise noted, this item's license is described as In Copyright