Tietokonepohjainen adaptiivinen testaus - edut ja haitat

Abstract

Adaptiivista testausta pidetään yleisesti toimivana ja tehokkaana menetelmänä yksilön halutun piirteen mittaamista varten. Tämän tutkimuksen tarkoituksena on tarkastella minkälaisia etuja ja haittoja adaptiivisen testaus tuo mukanaan. Tässä tutkimuksessa on keskitytty pääosin kaksijakoiseen oikein-väärin-muuttujien mallinnukseen osiovaste-teoriaan käyttäen. Osiovaste-teoria on tilastollinen funktio, jossa yksilöiden ja osioiden latentteja piirteitä käytetään vastauksien ennustavina muuttujina. Tuloksena voi todeta, että adaptiivinen testaus tarjoaa monia hyötyjä, kuten lyhemmät testit, tarkentuneen mittauksen sekä mahdollisuuden vertailla eri osioihin vastanneita vastaajia keskenään. Lyhentyneet testit ja tarkemmin valitut osiot motivoivat vastaajia paremmin, sillä tekijälle ei tule liian helppoja tai liian vaikeita osioita. Monista eduista huolimatta adaptiivisessa testaamisessa on myös haittapuolensa, jotka tulevat pääasiassa osiovaste-teorian tavasta mallintaa vastaajia ja osioita. Tulosten esit-täminen ei ole niin yksiselitteistä kuin klassisessa testauksessa. Adaptiivisen testin rakentaminen ja ylläpito on haastavampaa ja työläämpää. Testiä varten tarvitaan suuri määrä hyvin toimivia osioita, ja adaptiivisen testin yksi suurista haasteista onkin laadukkaan ja kalibroidun osiopankin rakentaminen.

Computerized adaptive testing is recognized as an efficient and functional method for measuring latent traits. The purpose of this study us to examine the advantages and disadvantages in computerized adaptive testing. The focus in this study is mainly on exploring dummy variable modelling using Item Re-sponse theory (IRT). IRT is a mathematical function where latent traits are used to predict the responses of individuals or items. The results of this study indi-cate that adaptive testing has many advantages such as shorter tests, more ac-curate measurement and the ability to compare the respondents test results even if they have responded to different items. Shorter tests and items that are selected more carefully, motivate the respondents better because items are not too difficult or too easy. Despite of many advantages, adaptive testing also has disadvantages, which are mainly caused by IRT modelling. When using IRT, presenting results can be complex and the implementation and maintenance is more challenging than with traditional, linear testing. To build an adaptive test a greater amount of valid items is required. Thus, one of the main challenges when using computerized adaptive testing is to build a reliable and properly calibrated item bank.