University of Jyväskylä | JYX Digital Repository

  • English  | Give feedback |
    • suomi
    • English
 
  • Login
JavaScript is disabled for your browser. Some features of this site may not work without it.
View Item 
  • JYX
  • Opinnäytteet
  • Väitöskirjat
  • View Item
JYX > Opinnäytteet > Väitöskirjat > View Item

Brain activity changes related to learning of audiovisual associations in reading

Thumbnail
View/Open
12.Mb

Downloads:  
Show download detailsHide download details  
Published in
JYU dissertations
Authors
Xu, Weiyong
Date
2020

 
Learning to connect letters or characters of written scripts to their corresponding sounds is crucial for reading acquisition. In alphabetic languages, the letter– speech sound integration has been shown to have a protracted developmental trajectory, and failure to reach an automatic level of audiovisual integration was correlated with reading difficulties. This dissertation aims to systematically investigate the audiovisual integration process in learning to read using magnetoencephalography, by extending the previous findings on alphabetic language to logographic language, and furthermore, by examining the learning of grapheme–phoneme association during initial learning stages. Study I aimed to investigate the audiovisual integration process in a logographic language (Chinese). This audiovisual integration involved the left superior temporal cortex in Chinese, which is similar to findings in alphabetic languages. In addition, it also activated the left inferior frontal regions, which are related to the processing of additional semantic information embedded in Chinese characters. Study II correlated various brain indices of audiovisual processing with reading-related cognitive measures in children at varying stages of reading. It demonstrated that the auditory late component is closely related to rapid automatized naming and phonological processing skills. Moreover, the multisensory interaction effect was observed mainly in temporoparietal regions, and brain responses in some of these regions were further associated with children’s reading and writing abilities. Study III simulated the initial learning of grapheme–phoneme associations in adults. The results from Study III highlighted the dynamic characteristics of audiovisual learning and provided a more refined model of grapheme–phoneme learning in reading acquisition. Overall, the findings from this dissertation showed evidence that audiovisual processing is dynamic during initial learning and memory consolidation of cross-modal associations. Furthermore, audiovisual processing is less automatic in children and is linked to their reading-related cognitive skills. Finally, there are some universal audiovisual processing brain regions and mechanisms across languages that are complemented by additional regions related to processes of distinct linguistic features in different types of scripts. Keywords: audiovisual integration, language learning, child brain, magnetoencephalography, reading ...
 
Kirjainten tai merkkien yhdistäminen niitä vastaaviin äänteisiin on ratkaisevan tärkeää lukemaan oppimiselle. Aakkosia käyttävissä kielissä kirjainten ja äänteiden yhdistämisellä on havaittu hidas kehityskaari ja tämän on osoitettu korreloivan lukemisvaikeuksien kanssa. Tässä väitöstutkimuksessa lukemaan oppimisen audiovisuaalista integraatioprosessia tutkitaan magnetoenkefalografian (MEG) avulla. Aakkosia käyttävissä kielissä saadut tulokset laajennetaan koskemaan logografista eli sanakirjoitusta käyttävää kieltä. Lisäksi tutkitaan grafeemi-foneemivastaavuuden omaksumista lukemaan opettelun alkuvaiheissa. Tutkimus 1 kartoittaa audiovisuaalista integraatioprosessia logografisessa kielessä (kiina). Tulosten perusteella kiinan kielen merkkejä opeteltaessa audiovisuaalinen integraatio aktivoi vasemman ylemmän ohimolohkon alueita, mikä vastaa aakkosia käyttävien kielten tuloksia. Lisäksi se aktivoi vasemmanpuoleiset alemmat otsalohkoalueet, jotka ovat yhteydessä kiinan merkkien sisältämään semanttiseen lisäinformaatioon. Tutkimuksessa 2 suoritettiin korrelaatioanalyysi erilaisten audiovisuaaliseen prosessointiin liittyvien indeksien ja lukemiseen liittyvien kognitiivisten testitulosten välillä lapsille, jotka olivat eri vaiheissa lukemaan oppimisessa. Tämä osoitti, että myöhäinen auditiivinen herätevaste on yhteydessä nopeaan automaattiseen nimeämiseen ja fonologisiin prosessointitaitoihin. Lisäksi moniaistinen vuorovaikutusefekti ilmeni pääasiassa temporoparietaalisilla alueilla, ja aivojen herätevasteet osasta näistä alueista olivat edelleen yhteydessä lasten luku- ja kirjoitustaitoon. Tutkimuksessa 3 tutkittiin grafeemi-foneemi-vastaavuuksien varhaista oppimista opettamalla uusia yhteyksiä aikuisille. Kolmannen osakokeen tulokset toivat esiin aistien väliseen oppimisen dynaamiset piirteet tarjoten kehittyneemmän grafeemi-foneemi-vastaavuuksien oppimisen mallin. Kaiken kaikkiaan tutkimustulokset osoittavat, että audiovisuaalinen prosessointi on dynaamista aistien välisten yhteyksien varhaisessa oppimisessa ja niiden muistamisen vahvistumisessa. Lisäksi audiovisuaalinen prosessointi on lapsilla vähemmän automaattista ja yhteydessä heidän lukemiseen liittyviin kognitiivisiin taitoihinsa. On myös olemassa universaaleja, kaikille kielille yhteisiä audiovisuaalisen prosessoinnin aivoalueita ja -mekanismeja. Niitä täydentävät alueet, jotka liittyvät tiettyjen kielellisten piirteiden prosesseihin erilaisissa kirjoitusjärjestelmissä. Asiasanat: audiovisuaalinen integraatio, kielen oppiminen, lapsen aivot, magnetoenkefalografia, MEG, lukeminen ...
 
ISBN
978-951-39-8220-1
Contains publications
  • Artikkeli I: Xu, W., Kolozsvári, O. B., Oostenveld, R., Leppänen, P. H. T., & Hämäläinen, J. A. (2019). Audiovisual processing of chinese characters elicits suppression and congruency effects in MEG. Frontiers in human neuroscience, 13,18. DOI: 10.3389/fnhum.2019.00018
  • Artikkeli II: Xu, W., Kolozsvari, O. B., Monto, S. P., & Hämäläinen, J. A. (2018). Brain responses to letters and speech sounds and their correlations with cognitive skills related to reading in children. Frontiers in human neuroscience, 12, 304. DOI: 10.3389/fnhum.2018.00304
  • Artikkeli III: Xu, W., Kolozsvari, O. B., Oostenveld, R., & Hämäläinen, J. A. (2020). Rapid changes in brain activity during learning of grapheme-phoneme associations in adults. NeuroImage, 117058. DOI: 10.1016/j.neuroimage.2020.117058
Keywords
aivot oppiminen lukeminen kielen oppiminen äänteet kirjaimet kirjoitusmerkit kognitiiviset taidot aakkoset merkit merkkijärjestelmät kirjoitusjärjestelmät lukihäiriöt lukutaito kirjoitustaito kiinan kieli magnetoenkefalografia audiovisuaalinen integraatio audiovisual integration language learning child brain magnetoencephalography reading
URI

http://urn.fi/URN:ISBN:978-951-39-8220-1

Metadata
Show full item record
Collections
  • Väitöskirjat [3033]

Related items

Showing items with similar title or keywords.

  • Brain Responses to Letters and Speech Sounds and Their Correlations with Cognitive Skills Related to Reading in Children 

    Xu, Weiyong; Kolozsvari, Orsolya; Monto, Simo; Hämäläinen, Jarmo (Frontiers Research Foundation, 2018)
    Letter-speech sound (LSS) integration is crucial for initial stages of reading acquisition. However, the relationship between cortical organization for supporting LSS integration, including unimodal and multimodal processes, ...
  • Audiovisual Processing of Chinese Characters Elicits Suppression and Congruency Effects in MEG 

    Xu, Weiyong; Kolozsvari, Orsolya; Oostenveld, Robert; Leppänen, Paavo H.T.; Hämäläinen, Jarmo (Frontiers Research Foundation, 2019)
    Learning to associate written letters/characters with speech sounds is crucial for reading acquisition. Most previous studies have focused on audiovisual integration in alphabetic languages. Less is known about logographic ...
  • Rapid changes in brain activity during learning of grapheme-phoneme associations in adults 

    Xu, Weiyong; Kolozsvari, Orsolya Beatrix; Oostenveld, Robert; Hämäläinen, Jarmo Arvid (Elsevier, 2020)
    Learning to associate written letters with speech sounds is crucial for the initial phase of acquiring reading skills. However, little is known about the cortical reorganization for supporting letter-speech sound learning, ...
  • Vieraiden kirjain-äänneyhteyksien oppiminen sekä kielellisen työmuistin yhteys oppimistulokseen 

    Sorsa, Aino (2019)
    Maisterintutkielmani tarkastelee vieraiden kirjain-äänneyhteyksien harjoittelua ja oppimista kahtena peräkkäisenä päivänä sekä kielellisen työmuistin osuutta oppimistulokseen. Tutkimukseni on tehty osana ChildBrain-tutki ...
  • Aletaan alusta : luku- ja kirjoitustaidottomat aikuiset uutta kieltä oppimassa 

    Tammelin-Laine, Taina (University of Jyväskylä, 2014)
  • Browse materials
  • Browse materials
  • Articles
  • Conferences and seminars
  • Electronic books
  • Historical maps
  • Journals
  • Tunes and musical notes
  • Photographs
  • Presentations and posters
  • Publication series
  • Research reports
  • Research data
  • Study materials
  • Theses

Browse

All of JYXCollection listBy Issue DateAuthorsSubjectsPublished inDepartmentDiscipline

My Account

Login

Statistics

View Usage Statistics
  • How to publish in JYX?
  • Self-archiving
  • Publish Your Thesis Online
  • Publishing Your Dissertation
  • Publication services

Open Science at the JYU
 
Data Protection Description

Accessibility Statement

Unless otherwise specified, publicly available JYX metadata (excluding abstracts) may be freely reused under the CC0 waiver.
Open Science Centre