Co-occurrence of Oculomotor Behaviour and Electrocortical Brain Activity during Naturalistic Reading and Word Recognition

Abstract

Reading is a process of converting symbols to meaning. Traditionally, eye movements and brain activity during reading have been investigated separately. This thesis examined the co-occurrence of brain activity and eye movement patterns during reading by utilising co-registered Eye Tracking & Electroencephalography (ET-EEG) methodology. The studies’ focus was on how sublexical features of words—specifically, word length and identity of a single letter—affect the cooccurring eye movements and brain activity. The influence of reading proficiency was also examined. Study I aimed to disentangle the influences of two word length aspects, spatial width and the number of letters, on eye movements to find out whether dysfluent readers would be more sensitive to them. The number of letters had an impact on the temporal aspects of eye movements while spatial width was reflected in the spatial aspects of the eye movements. Overall, dysfluent readers exhibited longer duration measures than typical readers but no different effects. Study II examined the influence of word length and reading proficiency on Fixation Related Potentials (FRPs) during sentence reading. Word length had an influence on brain activity during additional fixations but not during the first fixations. In terms of eye movements, word length had an influence on first fixations but not on additional ones. Both typical and slow readers had different brain activity and eye movement behaviour. The word length effect was stronger in the eye movements of slow readers but the effect on brain activity did not differ between groups. Study III investigated how semantic anomaly detection influences FRPs and eye movements. It was found that, a deviation of a single letter from a plausible sentence was able to modulate eye movements and brain activity. When comparing one letter deviations from a plausible sentence to full word deviations, the brain activity for semantic processing was delayed, suggesting competition between parallel interpretations of the sentence meaning. Study IV examined the effects of inserting deviating letters to actual words on co-occurring brain activity and small saccades. The spatial location of the deviation attracted small saccades suggesting attempts to focus attention on important letters. The deviation type had a clearer influence on brain activity and reaction times, which suggested that if a deviation does not adhere to spelling rules, then no attempt for deciphering the semantics of the letter string is made. Overall, these studies show that sublexical features of words cause co-occurring brain activity and eye movement effects. These results help refine the understanding of the relationship between the eye and the mind.

Lukeminen on kognitiivinen prosessi, jossa visuaaliset symbolit muunnetaan vastaaviksi merkityksiksi. Perinteisesti lukemisen aikaisia silmänliikkeitä ja aivoaktiivisuutta on tarkasteltu erillisinä ilmiöinä. Tämä väitöskirja tarkastelee niiden yhteisesiintymistä luonnollisen lukemisen ja sanantunnistuksen aikana käyttäen katseenseurannan ja aivosähkökäyrän rinnakkaisrekisteröintiä. Tutkimuksissa keskityttiin siihen, miten sanojen subleksikaaliset ominaisuudet, erityisesti sanan pituus ja yksittäisen kirjaimen identiteetti, vaikuttavat silmänliikekäyttäytymiseen ja aivoaktiivisuuteen ja näiden yhteisesiintymiseen. Tarkastelun kohteena oli myös lukutaidon tason vaikutus näihin ilmiöihin. Ensimmäinen osatutkimus pyrki erottelemaan sanan leveyden ja kirjainmäärän vaikutuksia silmänliikkeisiin lukemisen aikana. Näiden suhdetta heikkoon lukutaitoon tutkittiin myös. Sanan kirjainmäärä oli ensisijaisesti yhteydessä silmänliikkeiden ajallisiin piirteisiin, ja sanan leveys oli yhteydessä silmänliikkeiden spatiaalisiin piirteisiin. Hitaiden lukijoiden silmänliikkeiden kestomuuttujien arvot olivat tyypillisien lukijoiden vastaavia pidempiä, mutta tämä ei ollut yhteydessä sanan kirjainmäärän tai sanan leveyden vaikutukseen. Toinen osatutkimus tarkasteli sanan pituuden ja lukutaidon vaikutusta fiksaatiovasteeseen lauseen lukemisessa. Sanan pituus vaikutti aivotoimintaan ensimmäistä fiksaatiota seuraavien fiksaatioiden aikana, ei ensimmäisen fiksaation aikana. Silmänliikkeissä sanan pituudella oli vaikutus ensimmäiseen, mutta ei sitä seuraaviin fiksaatioihin. Hitaiden ja tyypillisten lukijoiden välillä oli eroja aivoaktiivisuudessa ja silmänliikkeissä. Sanan pituuden vaikutus silmänliikkeisiin oli suurempi hitailla lukijoilla, mutta sen vaikutuksessa aivotoimintaan ei havaittu eroja ryhmien välillä. Kolmas osatutkimus tarkasteli sitä, miten semanttisten anomalioiden havaitseminen vaikuttaa fiksaatiovasteisiin ja silmänliikkeisiin. Jo yhden kirjaimen poikkeama uskottavasta lauseesta muokkasi silmänliikkeitä ja aivotoimintaa. Verrattaessa koko sanan poikkeamiin, yhden kirjaimen poikkeamaan liittyvä aivoaktiivisuuden ero oli viivästynyt, mikä viittaa rinnakkaisten merkitystulkintojen keskinäiseen kilpailuun. Neljäs osatutkimus tarkasteli sanoista muodostettujen epä- ja pseudosanojen prosessoinnin aivotoiminnan ja mikrosilmänliikkeiden yhteisesiintymistä. Epä- ja pseudosanat muodostettiin korvaamalla yksi sanan kirjain siten, että kirjainjono oli merkityksetön. Pienet sakkadit suunnattiin kohti poikkeaman sijaintia eli tarkkaavuus kohdentui informatiivisiin kirjaimiin sanantunnistuksen aikana. Poikkeaman tyyppi vaikutti aivoaktiivisuuteen ja reaktioaikoihin. Tulokset osoittavat, että mikäli kirjainjono rikkoo kielensä kirjoitusasua, aivot eivät pyri tulkitsemaan kirjainjonon merkitystä. Kokonaisuutena osatutkimukset osoittavat, että sanojen subleksikaaliset ominaisuudet ovat riittäviä aiheuttamaan yhteisesiintyviä vaikutuksia aivotoimintaan ja katselukäyttäytymiseen. Tuloksia voidaan käyttää edistämään teoreettista ymmärrystä mielen ja silmän vuorovaikutuksesta.