How do the Common European Framework levels differ in terms of linguistic features? : analysing English language learners’ written corpora by using Natural Language Processing tools

Abstract

The Common European Framework of Reference (CEFR) for language learning, teaching, and assessment developed by the Council of Europe (CoE, 2001) is a widely used reference source to increase transparency in language education across Europe. It is a helpful document across European countries, particularly for testing and examination providers (Martyniuk, 2005). The CEFR is “one of the most ambitious examples of the gradual formation, shaping, and... implementation of language education policies” (Byrnes, 2007, p. 641). The CEFR provides a basis for elaborating language syllabuses, curriculum guidelines, examinations, and textbooks across Europe and beyond. It has become a focus of interest for two research areas: second language acquisition (SLA) and language testing. SLA research is interested in understanding how second and foreign language proficiency develops, whereas language testing research is interested in developing valid and reliable measures to assess language proficiency. However, the CEFR has a limited empirical basis in learner languages (Alderson, 2007; Hulstijn, 2007; Wisniewski, 2017). For example, the linguistic features of learners of English as a foreign language (EFL) regarding the CEFR scales are not explored extensively. The CEFR refers to the linguistic features and complexity in learners’ language in the descriptors in the scale called ‘General Linguistic Range,’ for example, but does this in a very general manner. Linguistic complexity in the CEFR includes references to syntactic complexity in terms of complex, simple, and basic structures but, overall, syntactic complexity as described in the CEFR descriptors (i.e., the ‘Can-do’ statements) remains defined only at a very general level. The focus of the CEFR scales is clearly to describe the ability to communicate and function using the language rather than to describe which syntactic or other linguistic features are typically needed when learners use a particular foreign language. This is understandable since the CEFR is intended to be applicable across different languages. This study paves the way for describing the linguistic basis (syntax, more specifically) of the CEFR levels by investigating syntactic complexity (SC) in the writings of Finnish-speaking EFL learners from Finland and Sindhi-speaking EFL learners from Pakistan across the CEFR levels A1 to B2. The study yielded quantitative information about different SC features that characterise the EFL learners and the texts they wrote (e.g., the mean values for each SC feature at specific CEFR levels and variation in these values). Such information enables us, thus, to characterise numerically syntactic complexity in the English language texts written by the two EFL learner groups and to investigate if specific indices of SC distinguish different CEFR levels from one another and if the two learner groups differ in this respect. These quantitative results are not directly transformable into verbal descriptors of syntax at different CEFR levels for these L1 background EFL learners. However, such results are likely to assist in such endeavours in the future. Given the multi-dimensional nature of syntactic complexity, this study investigated a wide range of syntactic complexity features in several writing tasks written by learners in Finland and Pakistan. Trained raters rated learners’ scripts on the CEFR levels. Two automated applications (L2 Syntactic Complexity Analyzer and Coh-Metrix) were used to analyse the texts for extracting the syntactic complexity features. Statistical analyses revealed differences but similarities in the syntactic complexity indices between different CEFR levels in the EFL learners’ writing in the two countries, representing different linguistic and educational contexts. The results shed light on to what extent the communicatively equivalent CEFR levels are also linguistically similar when the target language is the same but when the learners’ first language differs. The study also provides information regarding differences in syntactic complexity related to learners’ age or educational level. Finally, the findings may be used in systems that evaluate texts written by EFL learners with reference to a variety of linguistic features in order to predict the CEFR level of these texts.

Euroopan neuvosto on kehittänyt Yleiseurooppalaisen viitekehyksen (EVK; engl. the Common European Framework of Reference, CEFR) edistääkseen eurooppalaisen kielenopetuksen läpinäkyvyyttä (CoE, 2001). Eurooppalaista viitekehystä käytetään laajasti kielten oppimisessa, opettamisessa ja arvioinnissa, ja se on hyödyllinen erityisesti arviointien laatijoille (Martyniuk, 2005). Viitekehystä pidetään yhtenä esimerkkinä kielikoulutuspolitiikan kunnianhimoisimmista hankkeista (Byrnes, 2007). Se tarjoaa pohjan kielten opetusohjelmien oppimäärien, opetussuunnitelman perusteiden, kokeiden ja oppikirjojen kehittämiselle Euroopassa sekä muualla. Viitekehyksestä tehdään tutkimusta toisen kielen oppimisen ja kielitaidon arvioinnin aloilla. Toisen kielen oppimisen tutkimus pyrkii ymmärtämään, miten toisen ja vieraan kielen kielitaito kehittyy, kun taas kielitaidon arvioinnin tutkimuksen tavoitteena on laatia päteviä ja luotettavia kielitaidon arviointikeinoja. Eurooppalaisella viitekehyksellä on kuitenkin rajallinen empiirinen perusta oppijankielten suhteen, sillä kullekin EVK-tasolle tyypillisiä lingvistisiä piirteitä esimerksi englantia vieraana kielenä oppivien kielessä on tutkittu varsin vähän (Alderson, 2007; Hulstijn, 2007; Wisniewski, 2017). Vaikka EVK viittaa oppijankielen lingvistisiin piirteisiin ja kompleksisuuteen taitotasokuvauksissaan (esim. General Linguistic Range), se kuvaa niitä vain hyvin yleisellä tasolla. EVK-tasot keskittyvätkin kuvaamaan kykyä kommunikoida ja toimia kieltä käyttäen sen sijaan, että ne kuvaisivat sitä, mitä syntaktisia tai muita lingvistisiä piirteitä tyypillisesti tarvitaan oppijoiden käyttäessä tiettyä vierasta kieltä. Tämä tutkimus keskittyy tarkastelemaan syntaktista kompleksisuutta kirjoituksissa, joiden tekijät ovat EVK-tasoilla A1–B2 olevia englantia vieraana kielenä opiskelevia suomenkielisiä oppijoita Suomesta ja sindhinkielisiä oppijoita Pakistanista. Koulutetut arvioijat arvioivat oppijoiden kirjoittamat tekstit EVK-tasojen mukaisesti, ja kahta luonnollisen kielen käsittelyn (engl. Natural language processing, NLP) automatisoitua sovellusta käytettiin analysoimaan tektien syntaktisen kompleksisuuden piirteitä. Tutkimus antaa määrällistä tietoa erilaisista syntaktisen kompleksisuuden piirteistä, jotka määrittävät englantia vieraana kielenä oppivia ja heidän tekstejään. Tilastolliset analyysit osoittivat sekä eroja että yhtäläisyyksiä syntaktisen kompleksisuuden piirteissä eri EVK-tasoille sijoittuvien oppijoiden kirjoituksissa kahdessa tutkimuksessa mukana olleessa maassa. Tulokset selventävät, missä määrin kommunikatiivisesti toisiaan vastaavat EVK-tasot ovat myös kielellisesti samankaltaisia, kun kohdekieli on sama mutta oppijoiden ensikieli eri. Tutkimus antaa lisäksi tietoa syntaktisen kompleksisuuden eroista oppijoiden ikään tai koulutustasoon liittyen. Tuloksia voidaan käyttää myös järjestelmissä, jotka arvioivat englantia vieraana kielenä oppivien kirjoittamien tekstien erilaisia kielellisiä piirteitä ja pyrkivät niiden perusteella ennustamaan tekstien EVK-tasoa. Tämän ohella tulokset voivat tulevaisuudessa auttaa kuvaamaan EVK-tasojen lingvististä perustaa.