Audiovisual processing of Chinese speech sound - character pairs : a MEG study

Abstract

Tämän tutkimuksen tarkoituksena oli selvittää audiovisuaalisen integraation aivoperustaa. Tutkimuksen toteutuksessa käytettiin visuaalisena ärsykkeenä kiinankielisiä kirjoitusmerkkejä ja auditorisena ärsykkeenä kiinankielisiä puheäänteitä, joiden vaikutusta aivoihin tarkasteltiin joko esittämällä niitä unimodaalisesti tai bimodaalisesti. Muodostettiin kaksi tutkittavien ryhmää: suomenkieliset, jotka eivät osanneet kiinaa sekä natiivit kiinan puhujat, jotka ymmärsivät myös merkkien ja puheäänteiden merkityksen. Näin päästiin tarkastelemaan myös sitä, onko sanojen merkityksen tuntemisella merkitystä äänteiden ja merkkien prosessointiin. Aivojen toimintaa mitattiin 306-kanavaisella aivomagneettikäyrää mittaavalla magnetoenkefalografilla, MEG:llä. Aivoaktiivisuuden paikantumista tutkittiin BESA 6.1. -ohjelmistolla, Classical LORETA Analysis Recursively Applied (CLARA) - lähteenpaikannuksella. Suomalaisten ja kiinalaisten aivoaktiivisuutta vertailtiin eri tilanteiden välillä. Tulokset osoittivat, että suomalaisten visuaalinen aivokuori aktivoitui voimakkaammin kuin kiinalaisten, kun visuaalisia ärsykkeitä esitettiin ilman ääntä (V). Kun stimuluspareja (AV) esitettiin kongruentisti eli yhdenmukaisesti, suomalaisten oikea ja vasen fusiforminen poimu aktivoitui voimakkaammin kuin kiinalaisten. Tuloksista voidaan päätellä, että audiovisuaalinen prosessointi aivoissa toimii monimutkaisesti, ja merkityksen ymmärtämisellä voi olla vaikutusta siihen, millä aivoalueella tai miten voimakkaasti aivot aktivoituvat.

The aim of this thesis was to find out the neuronal basis of audiovisual integration. In the implementation of this study Chinese characters were used as a visual stimulus and for the auditory stimulus Chinese speech sounds were used, of which effects to the brain were observed by presenting the stimuli either unimodally or bimodally. Two groups of subjects were formed: Finnish subjects who did not know any Chinese and native Chinese subjects who also understood the meaning of the characters and speech sounds. This made it possible to also examine whether understanding the meaning of words made an impact on the processing of speech sounds and characters. The brain activation was measured by 306-channel magnetic field-recording magnetoencephalogram, MEG. The localization of the brain activation was explored by BESA 6.1. software, Classical LORETA Analysis Recursively Applied (CLARA) - source localization. The brain activation of the Finnish and Chinese subjects were compared between different conditions. The results show that Finnish subjects’ visual cortex activated more strongly than Chinese, when the visual stimulus was presented without the voice (V). When stimulus pairs (AV) were presented congruently or consistently, Finnish right and left fusiform gyrus was activated more powerfully than Chinese. A conclusion can be reached that the audiovisual processing in the brain functions in complex ways, and knowing the meaning of the shown stimuli can affect in which brain region or how powerfully the brain activates.