Brain activity changes related to learning of audiovisual associations in reading

Abstract

Learning to connect letters or characters of written scripts to their corresponding sounds is crucial for reading acquisition. In alphabetic languages, the letter– speech sound integration has been shown to have a protracted developmental trajectory, and failure to reach an automatic level of audiovisual integration was correlated with reading difficulties. This dissertation aims to systematically investigate the audiovisual integration process in learning to read using magnetoencephalography, by extending the previous findings on alphabetic language to logographic language, and furthermore, by examining the learning of grapheme–phoneme association during initial learning stages. Study I aimed to investigate the audiovisual integration process in a logographic language (Chinese). This audiovisual integration involved the left superior temporal cortex in Chinese, which is similar to findings in alphabetic languages. In addition, it also activated the left inferior frontal regions, which are related to the processing of additional semantic information embedded in Chinese characters. Study II correlated various brain indices of audiovisual processing with reading-related cognitive measures in children at varying stages of reading. It demonstrated that the auditory late component is closely related to rapid automatized naming and phonological processing skills. Moreover, the multisensory interaction effect was observed mainly in temporoparietal regions, and brain responses in some of these regions were further associated with children’s reading and writing abilities. Study III simulated the initial learning of grapheme–phoneme associations in adults. The results from Study III highlighted the dynamic characteristics of audiovisual learning and provided a more refined model of grapheme–phoneme learning in reading acquisition. Overall, the findings from this dissertation showed evidence that audiovisual processing is dynamic during initial learning and memory consolidation of cross-modal associations. Furthermore, audiovisual processing is less automatic in children and is linked to their reading-related cognitive skills. Finally, there are some universal audiovisual processing brain regions and mechanisms across languages that are complemented by additional regions related to processes of distinct linguistic features in different types of scripts. Keywords: audiovisual integration, language learning, child brain, magnetoencephalography, reading

Kirjainten tai merkkien yhdistäminen niitä vastaaviin äänteisiin on ratkaisevan tärkeää lukemaan oppimiselle. Aakkosia käyttävissä kielissä kirjainten ja äänteiden yhdistämisellä on havaittu hidas kehityskaari ja tämän on osoitettu korreloivan lukemisvaikeuksien kanssa. Tässä väitöstutkimuksessa lukemaan oppimisen audiovisuaalista integraatioprosessia tutkitaan magnetoenkefalografian (MEG) avulla. Aakkosia käyttävissä kielissä saadut tulokset laajennetaan koskemaan logografista eli sanakirjoitusta käyttävää kieltä. Lisäksi tutkitaan grafeemi-foneemivastaavuuden omaksumista lukemaan opettelun alkuvaiheissa. Tutkimus 1 kartoittaa audiovisuaalista integraatioprosessia logografisessa kielessä (kiina). Tulosten perusteella kiinan kielen merkkejä opeteltaessa audiovisuaalinen integraatio aktivoi vasemman ylemmän ohimolohkon alueita, mikä vastaa aakkosia käyttävien kielten tuloksia. Lisäksi se aktivoi vasemmanpuoleiset alemmat otsalohkoalueet, jotka ovat yhteydessä kiinan merkkien sisältämään semanttiseen lisäinformaatioon. Tutkimuksessa 2 suoritettiin korrelaatioanalyysi erilaisten audiovisuaaliseen prosessointiin liittyvien indeksien ja lukemiseen liittyvien kognitiivisten testitulosten välillä lapsille, jotka olivat eri vaiheissa lukemaan oppimisessa. Tämä osoitti, että myöhäinen auditiivinen herätevaste on yhteydessä nopeaan automaattiseen nimeämiseen ja fonologisiin prosessointitaitoihin. Lisäksi moniaistinen vuorovaikutusefekti ilmeni pääasiassa temporoparietaalisilla alueilla, ja aivojen herätevasteet osasta näistä alueista olivat edelleen yhteydessä lasten luku- ja kirjoitustaitoon. Tutkimuksessa 3 tutkittiin grafeemi-foneemi-vastaavuuksien varhaista oppimista opettamalla uusia yhteyksiä aikuisille. Kolmannen osakokeen tulokset toivat esiin aistien väliseen oppimisen dynaamiset piirteet tarjoten kehittyneemmän grafeemi-foneemi-vastaavuuksien oppimisen mallin. Kaiken kaikkiaan tutkimustulokset osoittavat, että audiovisuaalinen prosessointi on dynaamista aistien välisten yhteyksien varhaisessa oppimisessa ja niiden muistamisen vahvistumisessa. Lisäksi audiovisuaalinen prosessointi on lapsilla vähemmän automaattista ja yhteydessä heidän lukemiseen liittyviin kognitiivisiin taitoihinsa. On myös olemassa universaaleja, kaikille kielille yhteisiä audiovisuaalisen prosessoinnin aivoalueita ja -mekanismeja. Niitä täydentävät alueet, jotka liittyvät tiettyjen kielellisten piirteiden prosesseihin erilaisissa kirjoitusjärjestelmissä. Asiasanat: audiovisuaalinen integraatio, kielen oppiminen, lapsen aivot, magnetoenkefalografia, MEG, lukeminen