Co-occurrence of Oculomotor Behaviour and Electrocortical Brain Activity during Naturalistic Reading and Word Recognition
Reading is a process of converting symbols to meaning. Traditionally, eye
movements and brain activity during reading have been investigated separately.
This thesis examined the co-occurrence of brain activity and eye movement patterns
during reading by utilising co-registered Eye Tracking & Electroencephalography
(ET-EEG) methodology. The studies’ focus was on how sublexical features of
words—specifically, word length and identity of a single letter—affect the cooccurring
eye movements and brain activity. The influence of reading proficiency
was also examined. Study I aimed to disentangle the influences of two word length
aspects, spatial width and the number of letters, on eye movements to find out
whether dysfluent readers would be more sensitive to them. The number of letters
had an impact on the temporal aspects of eye movements while spatial width was
reflected in the spatial aspects of the eye movements. Overall, dysfluent readers
exhibited longer duration measures than typical readers but no different effects.
Study II examined the influence of word length and reading proficiency on Fixation
Related Potentials (FRPs) during sentence reading. Word length had an influence on
brain activity during additional fixations but not during the first fixations. In terms
of eye movements, word length had an influence on first fixations but not on
additional ones. Both typical and slow readers had different brain activity and eye
movement behaviour. The word length effect was stronger in the eye movements of
slow readers but the effect on brain activity did not differ between groups. Study III
investigated how semantic anomaly detection influences FRPs and eye movements.
It was found that, a deviation of a single letter from a plausible sentence was able to
modulate eye movements and brain activity. When comparing one letter deviations
from a plausible sentence to full word deviations, the brain activity for semantic
processing was delayed, suggesting competition between parallel interpretations of
the sentence meaning. Study IV examined the effects of inserting deviating letters to
actual words on co-occurring brain activity and small saccades. The spatial location
of the deviation attracted small saccades suggesting attempts to focus attention on
important letters. The deviation type had a clearer influence on brain activity and
reaction times, which suggested that if a deviation does not adhere to spelling rules,
then no attempt for deciphering the semantics of the letter string is made. Overall,
these studies show that sublexical features of words cause co-occurring brain activity
and eye movement effects. These results help refine the understanding of the
relationship between the eye and the mind.
...
Lukeminen on kognitiivinen prosessi, jossa visuaaliset symbolit muunnetaan vastaaviksi
merkityksiksi. Perinteisesti lukemisen aikaisia silmänliikkeitä ja aivoaktiivisuutta
on tarkasteltu erillisinä ilmiöinä. Tämä väitöskirja tarkastelee niiden yhteisesiintymistä
luonnollisen lukemisen ja sanantunnistuksen aikana käyttäen katseenseurannan ja aivosähkökäyrän
rinnakkaisrekisteröintiä. Tutkimuksissa keskityttiin siihen, miten sanojen
subleksikaaliset ominaisuudet, erityisesti sanan pituus ja yksittäisen kirjaimen identiteetti,
vaikuttavat silmänliikekäyttäytymiseen ja aivoaktiivisuuteen ja näiden yhteisesiintymiseen.
Tarkastelun kohteena oli myös lukutaidon tason vaikutus näihin ilmiöihin.
Ensimmäinen osatutkimus pyrki erottelemaan sanan leveyden ja kirjainmäärän vaikutuksia
silmänliikkeisiin lukemisen aikana. Näiden suhdetta heikkoon lukutaitoon tutkittiin
myös. Sanan kirjainmäärä oli ensisijaisesti yhteydessä silmänliikkeiden ajallisiin
piirteisiin, ja sanan leveys oli yhteydessä silmänliikkeiden spatiaalisiin piirteisiin. Hitaiden
lukijoiden silmänliikkeiden kestomuuttujien arvot olivat tyypillisien lukijoiden vastaavia
pidempiä, mutta tämä ei ollut yhteydessä sanan kirjainmäärän tai sanan leveyden
vaikutukseen. Toinen osatutkimus tarkasteli sanan pituuden ja lukutaidon vaikutusta
fiksaatiovasteeseen lauseen lukemisessa. Sanan pituus vaikutti aivotoimintaan ensimmäistä
fiksaatiota seuraavien fiksaatioiden aikana, ei ensimmäisen fiksaation aikana. Silmänliikkeissä
sanan pituudella oli vaikutus ensimmäiseen, mutta ei sitä seuraaviin fiksaatioihin.
Hitaiden ja tyypillisten lukijoiden välillä oli eroja aivoaktiivisuudessa ja silmänliikkeissä.
Sanan pituuden vaikutus silmänliikkeisiin oli suurempi hitailla lukijoilla,
mutta sen vaikutuksessa aivotoimintaan ei havaittu eroja ryhmien välillä. Kolmas osatutkimus
tarkasteli sitä, miten semanttisten anomalioiden havaitseminen vaikuttaa fiksaatiovasteisiin
ja silmänliikkeisiin. Jo yhden kirjaimen poikkeama uskottavasta lauseesta
muokkasi silmänliikkeitä ja aivotoimintaa. Verrattaessa koko sanan poikkeamiin,
yhden kirjaimen poikkeamaan liittyvä aivoaktiivisuuden ero oli viivästynyt, mikä viittaa
rinnakkaisten merkitystulkintojen keskinäiseen kilpailuun. Neljäs osatutkimus tarkasteli
sanoista muodostettujen epä- ja pseudosanojen prosessoinnin aivotoiminnan ja
mikrosilmänliikkeiden yhteisesiintymistä. Epä- ja pseudosanat muodostettiin korvaamalla
yksi sanan kirjain siten, että kirjainjono oli merkityksetön. Pienet sakkadit suunnattiin
kohti poikkeaman sijaintia eli tarkkaavuus kohdentui informatiivisiin kirjaimiin
sanantunnistuksen aikana. Poikkeaman tyyppi vaikutti aivoaktiivisuuteen ja reaktioaikoihin.
Tulokset osoittavat, että mikäli kirjainjono rikkoo kielensä kirjoitusasua, aivot
eivät pyri tulkitsemaan kirjainjonon merkitystä. Kokonaisuutena osatutkimukset osoittavat,
että sanojen subleksikaaliset ominaisuudet ovat riittäviä aiheuttamaan yhteisesiintyviä
vaikutuksia aivotoimintaan ja katselukäyttäytymiseen. Tuloksia voidaan käyttää
edistämään teoreettista ymmärrystä mielen ja silmän vuorovaikutuksesta.
...




ISBN
978-951-39-7849-5ISSN Search the Publication Forum
2489-9003Contains publications
- Artikkeli I: Hautala, J., & Loberg, O. (2015). Breaking down the word length effect on readers’ eye movements. Language, Cognition and Neuroscience, 30 (8), 993-1007. DOI: 10.1080/23273798.2015.1049187
- Artikkeli II: Loberg, Otto; Hautala, Jarkko; Hämäläinen, Jarmo A.; Leppänen, Paavo H.T. (2019). Influence of reading skill and word length on fixation-related brain activity in school-aged children during natural reading. Vision Research, 165, 109-122. DOI: 10.1016/j.visres.2019.07.008
- Artikkeli III: Loberg, O., Hautala, J., Hämäläinen, J., & Leppänen, P. H. T. (2018). Semantic anomaly detection in school-aged children during natural sentence reading : A study of fixation-related brain potentials. PLoS ONE, 13 (12), e0209741. DOI: 10.1371/journal.pone.0209741
- Artikkeli IV: Loberg, O., Hautala, J., Hämäläinen J.A., & Leppänen P. H. T. (2019). Influence of spatial location of and type of deviation from real words on small saccades and brain activity—A co-registered eye-tracking and EEG study. Submitted manuscript.
Metadata
Show full item recordCollections
- JYU Dissertations [694]
- Väitöskirjat [3295]
Related items
Showing items with similar title or keywords.
-
Childhood aggression and the co-occurrence of behavioural and emotional problems : results across ages 3–16 years from multiple raters in six cohorts in the EU-ACTION project
Bartels, Meike; Hendriks, Anne; Mauri, Matteo; Krapohl, Eva; Whipp, Alyce; Bolhuis, Koen; Conde, Lucia Colodro; Luningham, Justin; Ip, Hill Fung; Hagenbeek, Fiona; Roetman, Peter; Gatej, Raluca; Lamers, Audri; Nivard, Michel; van Dongen, Jenny; Lu, Yi; Middeldorp, Christel; van Beijsterveldt, Toos; Vermeiren, Robert; Hankemeijer, Thomas; Kluft, Cees; Medland, Sarah; Lundström, Sebastian; Rose, Richard; Pulkkinen, Lea; Vuoksimaa, Eero; Korhonen, Tellervo; Martin, Nicholas G.; Lubke, Gitta; Finkenauer, Catrin; Fanos, Vassilios; Tiemeier, Henning; Lichtenstein, Paul; Plomin, Robert; Kaprio, Jaakko; Boomsma, Dorret I. (Springer Berlin Heidelberg, 2018)Childhood aggression and its resulting consequences inflict a huge burden on affected children, their relatives, teachers, peers and society as a whole. Aggression during childhood rarely occurs in isolation and is ... -
Species co-occurrence patterns among cavity nesting birds across seasons and in a landscapes with varying habitat complexity
Bulluck, Lesley; Nickley, Ben; Walter, Abby; Viverette, Cathy (Open Science Centre, University of Jyväskylä, 2018)Species co-occurrence patterns inform the selection of surrogate species in conservation planning because co-occurrence is often a non-random process. Probabilistic models can determine whether a species co-occurrence is ... -
Traits mediate niches and co‐occurrences of forest beetles in ways that differ among bioclimatic regions
Burner, Ryan C.; Stephan, Jörg G.; Drag, Lukas; Birkemoe, Tone; Muller, Jörg; Snäll, Tord; Ovaskainen, Otso; Potterf, Mária; Siitonen, Juha; Skarpaas, Olav; Doerfler, Inken; Gossner, Martin M.; Schall, Peter; Weisser, Wolfgang W.; Sverdrup‐Thygeson, Anne (Wiley-Blackwell, 2021)Aim The aim of this study was to investigate the role of traits in beetle community assembly and test for consistency in these effects among several bioclimatic regions. We asked (1) whether traits predicted species’ ... -
Species co-occurrence networks of ground beetles in managed grasslands
Elo, Merja; Ketola, Tarmo; Komonen, Atte (Springer; Akadémiai Kiadó, 2021)Grassland biodiversity, including traditional rural biotopes maintained by traditional agricultural practices, has become threatened worldwide. Road verges have been suggested to be complementary or compensatory habitats ... -
School Satisfaction and School Pressure in the WHO European Region and North America : An Analysis of Time Trends (2002–2018) and Patterns of Co-occurrence in 32 Countries
Löfstedt, Petra; García-Moya, Irene; Corell, Maria; Paniagua, Carmen; Samdal, Oddrun; Välimaa, Raili; Lyyra, Nelli; Currie, Dorothy; Rasmussen, Mette (Elsevier, 2020)Purpose The purpose of the study was to examine the trends between 2002 and 2018 in school pressure and school satisfaction among 15-year-old students, across countries and by gender, in the WHO European region and North ...