Rimaa hipoen selviää tilanteesta : yleisten kielitutkintojen suomen kielen arvioijien käsityksiä kielitaidon arvioinnista ja suullisesta kielitaidosta

Abstract

The number of immigrants in Finland has more than doubled in the last 15 years. For that reason, more Finnish learners need to demonstrate their language skills in Finnish for citizenship, work, or study purposes. The Finnish intermediate level test of the National Certificate of Language Proficiency (NCLP) is the commonly used way to prove language skills by learners. In the rating process of test systems raters play a key role because they make decisions about learners’ skills. Statistical analyses provide information on raters’ severity, leniency, and consistency, but they do not provide any information on how and on what grounds raters make their decisions about learners’ proficiency. This study aims at investigating the Finnish raters’ beliefs about language assessment and spoken language skills and at exploring how these beliefs im-pact their rating behavior. This study adopts a contextual approach to beliefs, informed in particular by sociocultural research. The research is a quantitative research consisting of four sub-studies, each focusing on different aspect of raters’ language and assessment beliefs. Sub-studies are based on a thematic interview, written comments on learners’ oral test performances and short questionnaire with open-ended questions. Data is analyzed by using content and discourse analysis. The findings show that despite the same rater training and rating criteria, in their final decisions, the raters are putting more weight one or two assess-ment criteria, such as grammatical accuracy, pronunciation, fluency and comprehensibility. The emphasis on certain linguistic features is related to the learners’ language proficiency and on how raters value these linguistic features. Satisfactory language proficiency was defined through comprehensibility and it was linked especially to language requirements for Finnish citizenship. Good language skills, in turn, required interaction with native language speakers. The findings suggest that raters have different interpretations of candidates’ performances and that L1 recognition affects their rating. Beliefs about spoken language vary according to learners and are mostly influenced by raters’ previous experiences of different learners. Beliefs about language assessment and each rater’s rating behavior are influenced by rating experience, rating training and community of practice that are relevant to the rater identity.

Suomessa tarpeet osoittaa suomen kielen taito sekä kansalaisuuden että työ- ja opiskelupaikan saamiseksi ovat lisääntyneet maahanmuuton kasvaessa. Yleiset kielitutkinnot (YKI) on kansallinen kielitaidon arviointijärjestelmä, jonka tutkintotodistuksella voi osoittaa virallisesti kielitaitonsa. Tässä neljästä artikkelista koostuvassa väitöstutkimuksessa tarkastellaan Yleisten kielitutkintojen suomen kielen arvioijien käsityksiä kielitaidon arvioinnista ja suullisesta kielitaidosta. Kielitaitoa mitattaessa arvioijat ovat yksi arviointiprosessin keskeisimmistä ryhmistä, koska he tekevät päätöksen tutkintoon osallistuvan kielitaidon tasosta. Vaikka arviointikäyttäytymistä – ankaruutta ja lempeyttä sekä johdonmukaisuutta – seurataan tutkintojärjestelmässä tilastollisten analyysien avulla, arviointiprosessin taustalla vaikuttavat myös tekijät, joita ei voida tilastollisesti mitata. Näillä tekijöillä on kuitenkin merkitystä arviointikäyttäytymiselle. Tutkimuksessa kuvataan sitä, millaisia käsityksiä suomen kielen arvioijilla on kielitaidon arvioinnista ja itsestään arvioijina ja kuinka tutkintojärjestelmän sisäiset ja ulkopuoliset tekijät ohjaavat heidän arviointiansa. Lisäksi analysoidaan sitä, millaisia käsityksiä arvioijilla on suullisesta kielitaidosta, eli mitä kielen piirteitä arvioijat arvostavat suullisessa kielitaidossa, millainen kielitaito on heistä riittävä ja hyvä ja mitkä tekijät vaikuttavat arvioijien käsityksiin suullisesta kielitaidosta. Tutkimuksen teoreettisena viitekehyksenä on sosiokulttuurinen lähestymistapa käsityksiin. Tutkimusaineisto koostuu haastatteluista, kyselytutkimuksesta ja internetpohjaisesta arviointialustalla kootusta arviointiaineistosta. Aineisto on analysoitu kolmessa artikkelissa sisällönanalyysin ja yhdessä diskurssianalyysin keinoin. Tutkimustulokset osoittavat, että käsityksiin arvioinnista ja omasta arviointilinjasta vaikuttavat arviointikokemus ja -koulutus sekä muut arvioijat, jotka ovat merkityksellisiä arvioijaidentiteetin syntymiselle. Yhtäläisestä arviointikoulutuksesta ja tutuista arviointikriteereistä huolimatta arvioijat painottavat arvioinnissaan tiettyjä kielen piirteitä, kuten rakenteiden tarkkuutta, ääntämistä ja fonologista hallintaa sekä sujuvuutta ja ymmärrettävyyttä. Myös käsitykset riittävästä ja hyvästä suullisesta kielitaidosta vaihtelevat. Riittävässä kielitaidossa keskeistä on ymmärrettävyys, kun taas hyvässä kielitaidossa arvostetaan sujuvuutta ja kohdekielenomaista kielenkäyttöä. Arvioijien käsitykset sekä kielitaidon arvioinnista että suullisesta kielitaidos-ta ovat vaihtelevia ja tilanteisia, ja niihin vaikuttavat muun muassa oppijoiden ensikieli, kokemukset erilaisista oppijoista ja ympäröivä kulttuuri ja yhteiskunta.