Using FaceReader to recognize emotions during self-assessment relating to dyslexia

Abstract

FaceReader ohjelman käyttö emootioiden tunnistamiseen lukihäiriöön liittyvän itse-arvioinnin aikana. Tämä pro gradu tutkielma tarkasteli kasvojen tunnistamis-ohjelma FaceReaderin käytettävyyttä tunteiden tunnistamisessa lukivaikeustaustaisilla henkilöillä heidän täyttäessään tietokone-avusteisesti itse-arviointikyselyitä resilienssiin, itsetuntoon, coping-keinoihin, sosiaaliseen kompetenssiin, attribuutioon, välttämiskäyttäytymiseen sekä terveystapoihin liittyen. Osallistujat (N=45, 17 naista / 28 miestä) olivat saaneet lukivaikeus-diagnoosin ja olivat olleet lapsena Niilo Mäki Instituutin asiakkaita. Osallistujat kutsuttiin seurantatutkimuksiin ja haastatteluihin 20 -39 -vuoden ikäisinä. Lukitestien perusteella osallistujat jaettiin analyysejä varten kahteen ryhmään, joista toisella oli vielä aikuisena lukivaikeus (N=23) ja toisen lukemisen taso oli normaalin väestön tasoa (N=22). Verrokkiryhmä (N=34) muodostui normaalin lukutaidon omaavista henkilöistä, joilla ei ollut lapsuusiässä diagnosoitua lukivaikeutta. Verrokkiryhmä vastasi iältään, sukupuolijakaumaltaan, sekä lapsuuden kotipaikkakunnaltaan koehenkilöryhmää. FaceReader analysoi kasvojen ilmeitä video-nauhoitteilta ja arvioi neutraalin, ilon, surun, vihaisuuden, yllättyneisyyden, pelon, inhon ja halveksunnan tunteen voimakkuutta kullakin hetkellä. FaceReaderin raportoimien tunteiden keskimääräisten vahvuuksien variaatioita, ryhmien välisiä eroja, sekä korrelaatioita tunteiden ja itse-arviointikyselyiden tulosten välillä tarkasteltiin ei-parametrisin testein (Kruskal-Wallis, Mann-Whitney U-testi, Spearmanin korrelaatiokerroin). Variaatiota tunteiden vahvuuksissa löytyi. Eroja kolmen ryhmän välillä löytyi niin FaceReaderin raportoimien tunteiden vahvuuksissa, kuin FaceReaderin kyvyssä tunnistaa tunnetiloja. Tilastollisesti merkitseviä korrelaatioita itse-arvioinnin ja FaceReaderin arvioimien tunteiden välillä ei löytynyt. FaceReaderin häiriöherkkyys osallistujien silmälasien käyttöön ja liikehdintään nauhoituksen aikana todettiin ongelmaksi. Jatkotutkimuksissa suositellaan käytettäväksi vertailevia mittareita tunteiden arvioimisessa, sekä tehtävien tekemistä vuorovaikutuksessa toisen henkilön kanssa FaceReaderin tulkitsemien tunteiden validoimiseksi.

Using FaceReader to recognize emotions during self-assessment relating to dyslexia. This study examined usability of the facial coding tool FaceReader in recognizing emotions of individuals with history of dyslexia while they filled in computer based well-being self-assessment questionnaires relating to resilience, self-esteem, coping strategies, social competence, attribution, task avoidance and health habits. Participants (N=45, 17 female/ 28 male) were diagnosed with dyslexia at Niilo Mäki Institute as child and were invited to a follow up study at the age of 20-39 years. For the purpose of analysis participant group was divided into continuing dyslexic (N=23) and compensated dyslexic (N=22) groups based on adulthood reading accuracy, fluency and comprehension tests. Control group (N=34) with no childhood dyslexia diagnosis, and no adult dyslexia based on tests completed as part of the study matched the participant group based on age and gender. FaceReader analyzes facial expression from a video recording and provides intensity of neutral, happy, sad, angry, surprised, scared, disgust and contempt emotion at any given time. FaceReader reported intensities of emotions were analyzed using non-parametric statistical tests (Kruskal-Wallis, Mann-Whitney U-test, Spearman correlation) to assess variation, group differences and correlation with the well-being questionnaires. Analysis did show variance in the intensities of emotions. There were differences between the three groups in FaceReader’s ability to recognize emotions as well as in the reported mean intensities of emotions. No statistically significant correlations between well-being questionnaires and FaceReader reported emotions were found. Sensitivity of FaceReader was found to be an issue for capturing emotions of individuals if they wore glasses or were restless during the recording. Future research should utilize comparative methods for measuring emotion as well as an additional participant group with human-human relationship to further validate the FaceReader provided data.