Onko taito katsojan silmissä? : tutkijoiden välinen reliabiliteetti Test of Gross Motor Development-3-testistössä

Abstract

Tutkimuksen tavoitteena oli selvittää Test of Gross Motor Development 3-testistön (TGMD-3) luotettavuutta vertaamalla eri tutkijoiden tekemiä arviointeja ja niiden yhtenevyyttä. Tutkimus oli osa professori Pauli Rintalan johtamaa TGMD-3-projektia, jonka aineisto on kerätty Keski-Suomen alueen alakouluista vuoden 2014 aikana. Tutkimukseen osallistui 43 7–10-vuotiasta lasta. Lasten liikkumis- ja käsittelytaitoja mitattiin TGMD-3-testistöllä (Ulrich 2013), joka sisältää yhteensä 13 taitotestiä, joista 6 mittasi liikkumistaitoja ja 7 käsittelytaitoja. Liikkumistaitoja testaavat tehtävät olivat juoksu, laukka eteenpäin, konkkaus, vuorohyppely, tasaponnistus eteen ja sivulaukka. Käsittelytaitotehtäviä olivat kahden käden mailasivulyönti, yhden käden kämmenlyönti, pallon pompotus, kahden käden kiinniotto, potku, yliolanheitto ja aliolanheitto. (Ulrich 2013.) Kaikki testisuoritukset videoitiin ja tutkijat pisteyttivät suoritukset myöhemmin videoiden perusteella. Tutkimuksessa on verrattu neljän tutkijan, kahden kokeneen ja kahden kokemattoman, arviointeja toisiinsa muodostamalla yhteensä viisi tutkijaparia. Tutkijaparien välisiä arviointeja tarkasteltiin ristiintaulukoinnilla määritettyjen yhtenevyysprosenttien ja Cohenin kappa-arvojen avulla testiosioiden, taitojen ja kriteerien osalta. Tulokset osoittavat, että kaikkien tutkijaparien välisten arviointien yhtenevyys oli yli 80 %. Tutkijoiden arviointien yhtenevyys oli keskimäärin 84,5 %, mikä on suurempi kuin testistön kehittäjien asettama raja-arvo luotettavien arviointien määrittämiseksi (Webster 2015). Yhtenevyysprosentit olivat luotettavuusrajan yläpuolella myös tarkasteltaessa yhtenevyyksiä testiosioiden eli liikkumis- ja käsittelytaitojen tarkkuudella. Liikkumistaidoissa yhtenevyys oli jokaisen tutkijaparin kohdalla korkeampi kuin käsittelytaidoissa. Yksittäisten taitojen osalta yhtenevyysprosentti oli alle 80 % tutkijaparista riippuen muutamassa taidossa. Kokemattomien tutkijoiden 1 ja 2 väliset yhtenevyydet olivat yksittäisten taitojen osalta yliolanheittoa lukuun ottamatta yli 80,0 %. Verrattaessa kokeneita tutkijoita 3 ja 4 kokemattomiin tutkijoihin 1 ja 2, tutkijoiden 1 ja 3 arviointien välillä luotettavuusrajan alapuolelle jäi konkkaus, tasaponnistus, kahden käden lyönti ja yliolanheitto. Tutkijoiden 2 ja 3 välillä arviointien yhtenevyydessä luotettavuusrajan alapuolelle jäi konkkaus, kahden käden lyönti, potku ja yliolanheitto. Tutkijoiden 1 ja 4 arviointien välillä yhtenevyydeltään alle 80 % oli laukka ja tutkijoiden 2 ja 4 arviointien välillä laukka, pomputus ja potku. Kahden tutkijaparin (1 & 3 ja 2 & 3) kohdalla kolme neljästä yhtenevyydeltään heikommasta taidosta oli samoja: konkkaus, kahden käden lyönti ja yliolanheitto. Näiden taitojen yksittäisten kriteerien arviointien yhtenevyysprosenttien ja kappa-arvojen tarkastelu osoitti, että joidenkin kriteerien toteutumista oli vaikeaa arvioida. Tutkimuksessa havaittiin hyvin samankaltaisia ongelmia kuin aiemmissa TGMD-tutkimuksissa; taitojen arvioimista hankaloittavat sellaiset kriteerit, jotka voivat toteutua lapsen suorituksessa osittain. Kriteerien tulisi siis olla spesifimpejä ja selkeämpiä, milloin ne jättäisivät vähemmän sijaa tulkitsemiselle.

The purpose of this study was to examine interrater reliability in the Test of Gross Motor Development 3 (TGMD-3) by comparing assessments made by various observers. The study was a part of TGMD-3 project lead by professor Pauli Rintala. The data was collected from primary schools in Middle Finland during the year of 2014. There were 43 7–10 year old children participating in this study. Fundamental movement skills were tested by TGMD-3 (Ulrich 2013) which includes a total of 13 skills. Six of them were locomotor skills and seven of them were object-control skills (also called ball skills). Locomotor skills included run, gallop, hop, skip, horizontal jump and slide. Ball skills included two-hand strike, one-hand forehand strike, one-hand stationary dribble, two-hand catch, kick stationary ball, overhand throw and underhand throw. (Ulrich 2013.) All the performances were videotaped and assessed later by the researchers. In this study, four researchers, two experts and two inexperienced assessors in scoring were compared to each other. To do this, five pairs were created among the researchers. The consistency of assessments of each pair was measured using crosstabs and Cohen’s kappa according to subtests (locomo-tor/ball skills), individual skills and the components of skills. The results show that consistency of assessments between all pairs of researchers was more than 80 %. The researchers' consistency of assessments was an average of 84,5 % which is over the reliability limit set by developers of TGMD-3 (Webster 2015). The percentage was also above the reliability limit when examining the results in locomotor skills and ball skills. The consistency was higher in locomotor skills than ball skills on each pair of researchers. Among the individual skills, consistency was mainly over 80 %. Between the researchers 1 and 2 (both inexperienced) the consistency was over 80,0 % in all but overhand throw skill. Comparing researchers 1 and 2 to researchers 3 and 4 (both experts), there were four skills below 80 % consistency. Between researchers 1 and 3 the skills were hop, horizontal jump, two-hand strike and overhand throw. Between researcher 2 and 3 the skills were hop, two-hand strike, kick stationary ball and overhand throw. Between researcher 1 and 4 gallop was the only skill, and between researcher 2 and 4 gallop, stationary dribble and kick stationary ball were below 80 % consistency. Comparing the two pairs of researchers (1 & 3 and 2 & 3), three out of four skills with the lowest consistency were the same: hop, two-hand strike and overhand throw. After closer examining of consistency percentages and Cohen’s kappa of these three skills, there appeared to be some components which were difficult to score. In this study, very similar problems as in previous TGMD-studies were discovered; the assessment of a component is difficult if there is more than one criterion in a component that must appear at the same time. According to this study, it would be better if the components in TGMD-3 were more specific.