Ihmisarvioijien näkemyksiä suullisen kielitaidon automaattisesta arvioinnista, digitaalisesta arviointiprosessista sekä puhesuorituksista arvioitavista ulottuvuuksista

Abstract

Digitaaliset kielikokeet ovat nykypäivää muun muassa ylioppilastutkinnossa, ja lähes jokaisessa oppilaitoksessa on jonkinlainen digitaalinen oppimis- ja opetusalusta. Tekniikka on mullistanut kielitaidon testaamisen ja harjoittelun, mutta täysin automaattiset suullisen kielitaidon kokeet ovat vielä harvinaisia kansainvälisestikin. Tekoäly on kuitenkin arkipäiväistymässä monilla elämänalueilla, ja se herättää monenlaisia mielikuvia ja pohdintaa sen vaikutuksista ja eettisyydestä. Artikkelissa kartoitamme ja analysoimme ihmisarvioijien näkemyksiä digitaalisesti toteutetusta arviointiprosessista, jossa keräsimme ihmisarvioijilta arvioita suomen ja ruotsin puhenäytteisiin. Tutkimme myös arviointikierroksille osallistuneiden näkemyksiä suullisen kielitaidon automaattisesta arvioinnista. Kolmas tutkimuskysymyksemme (ks. luku 2) liittyy tehtävänannon ja puheen ulottuvuuksiin, joita puhesuorituksista arvioidaan. Tutkimus on osa DigiTala-tutkimushanketta (Kautonen & von Zansen 2020), jossa kehitetään puheentunnistusta, automaattista puheen arviointia sekä automaattista palautetta suomen ja ruotsin oppijoille (von Zansen ym. arvioitavana). Automatiikka lisää mahdollisuuksia puheen itsenäiseen harjoitteluun (von Zansen ym. arvioitavana). Suurissa ja tärkeissä (high-stakes) kokeissa se voi toimia ihmisarvioinnin tukena, vähentää arvioijien työtaakkaa sekä lisätä arvioinnin objektiivisuutta. Ihmisen tekemään arvioon voivat vaikuttaa esimerkiksi erilaiset testattavan yksilölliset tai kielelliset piirteet, kuten aksentteihin liittyvät ennakkokäsitykset (Halonen ym. 2020). Nykynäkemyksen mukaan arviointiin osallistuvien monien toimijoiden välinen tiedonkulku ja dialogi ovat tärkeitä laadukkaalle arvioinnille. Näitä osallisia (stakeholders) ovat niin laatijat ja käyttäjät kuin arvioitavatkin (Hidri 2020), ja kaikkien osapuolten näkemykset on syytä huomioida jo arviointivälineiden kehittelyvaiheessa. Arvioijien tai edes opettajien käsityksiä automaattisesta suullisen kielitaidon arvioinnista ei tietojemme mukaan ole aikaisemmin tutkittu. Tutkimustiedon avulla voimme kehittää automaattisen arvioinnin menetelmiä oikeudenmukaisiksi ja käyttökelpoisiksi.

This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment.