Investigation of brain processes of speech perception and production in adults and children using MEG

Abstract

Spoken language is a large part of our day-to-day life. During face-to-face communication, one needs to not only be able to follow and integrate the incoming auditory and visual information, but usually also to respond to and produce speech. While speech perception has been investigated rather thoroughly, from syllable-level perception to paragraph-long continuous tracking, there are still questions remaining regarding how the brain perceives speech. Speech production presents an even bigger challenge to investigate at brain level, as not only does it involve movement from articulators, which add muscle activity artifacts to the recorded signal, but in overt speech, the brain needs to process the perception of hearing ourselves speak. Brain-level studies often choose to use simplified stimuli, to ease the technical challenges involved in the measures, and thus comparison of the different linguistic units remains a rarity. This dissertation investigated brain-level correlates of speech perception at the syllable level in an audio-visual perception task, examined the developmental hemispheric differences in speech tracking of words and sentences, as indexed by coherence measures, in children and adults, and explored a method of analysis previously used in speech perception research to investigate speech production at the brain level, which could be used in future research. Study I investigated brain-correlates of audio-visual speech perception at syllable level, in particular the effect of congruence and familiarity of stimuli on brain responses in adults of two different language backgrounds (Finnish and Chinese). Congruence of stimuli, that is when what they saw matched with what they heard, was found to have an effect and differences in responses were found mainly in the right temporal areas. Study II examined the brain’s ability to track the speech envelope of words and sentences in children and in adults, and correlated the findings with their auditory responses to syllables to investigate a possible overlap in development for the two processes. Furthermore, the brain indices were correlated with speech-related cognitive measures in children. The findings show an improvement with age in speech tracking, and that this increase is independent from the changes in the auditory response to simpler speech stimuli (syllables). Study III introduced a novel approach to measure speech tracking using an accelerometer during overt speech in adults while their brain activity was recorded.

Keywords: Speech tracking, Speech production, Coherence measure, Event-related responses, Magnetoencephalography

Puhuttu kieli on tärkeä osa arkeamme. Kasvokkain tapahtuvassa viestinnässä on pystyttävä seuraamaan ja yhdistelemään vastaanotettua kuultua ja nähtyä informaatiota, mutta yleensä on myös pystyttävä reagoimaan puheeseen ja tuottamaan sitä. Vaikka puheen havaitsemista on tutkittu suhteellisen perusteellisesti, aina tavujen havaitsemisesta keskustelujen seuraamiseen asti, on yhä osittain epäselvää, kuinka aivot havaitsevat puheen. Puheen tuottamista on vieläkin haasteellisempaa tutkia aivotasolla, koska siihen ei liity pelkästään puhe-elinten liike, joka lisää lihastoiminnan häiriöitä tallennettuun signaaliin, vaan ääneen lausutussa puheessa aivojen tarvitsee prosessoida havainto kuulemastaan omasta puheesta. Aivotason tutkimuksissa käytetään usein yksinkertaistettuja ärsykkeitä aivotoiminnan mittaamiseen liittyvien teknisten haasteiden vuoksi, joten kielellisten yksiköiden välinen vertailu on harvinaista. Tässä väitöstutkimuksessa selvitettiin puheen havaitsemisen aivotason korrelaatteja tavutasolla audiovisuaalisen havaintotehtävän avulla. Lasten ja aikuisten aivopuoliskojen toiminnan kehityksellisiä eroja puhuttujen sanojen ja virkkeiden seuraamisessa tutkittiin koherenssimittojen perusteella. Lisäksi perehdyttiin aiemmin puheen havaitsemisen tutkimuksessa käytetyn analyysimenetelmän soveltamiseen tutkittaessa puheen tuottamista aivotasolla; sitä voitaisi käyttää myös tulevissa tutkimuksissa. Tutkimuksessa 1 tutkittiin audiovisuaalisen puheen havaitsemisen aivokorrelaatteja tavutasolla ja erityisesti ärsykkeiden kongruenssin ja tuttuuden vaikutusta aivovasteisiin aikuisilla, joiden kielelliset taustat ovat erilaiset (suomi ja kiina). Ärsykkeiden kongruenssilla – eli kun se, mitä tutkittavat näkivät, vastasi heidän kuulemaansa verrattuna siihen kun se, mitä nähtiin ei vastannut kuultua – havaittiin olevan merkitystä, ja vasteet erosivat pääasiassa oikeilla ohimoalueilla. Tutkimuksessa 2 tarkasteltiin lasten ja aikuisten aivojen kykyä seurata puheen voimakkuusvaihtelua sanoissa ja virkkeissä; kyky voimakkuusvaihtelun seuraamiseen korreloitiin tavujen aivovasteiden kanssa, jotta voitiin tutkia kahden prosessin kehityksen mahdollista päällekkäisyyttä. Lisäksi aivoindeksit korreloitiin kognitiivisten mittojen kanssa. Tulokset osoittavat, että puheen seuraaminen paranee iän mukana ja että tämä kehitys on riippumaton muutoksista aivovasteessa yksinkertaisempiin puheärsykkeisiin (tavuihin). Tutkimuksessa 3 otettiin käyttöön uusi puheen seuraamisen mittausmenetelmä, eli mitattiin aikuisten puhetta kiihtyvyysanturilla tallentaen samalla heidän aivotoimintaansa.

Asiasanat: Puheen seuraaminen aivoaktiivisuudessa, puheen tuottaminen, herätevaste, koherenssimitta, magnetoenkefalografia, MEG