Työmuistiprosessointi lisätyssä todellisuudessa : tarkkaavuuden ja työmuistikapasiteetin vaikutus visuaalisen informaation prosessointiin

Abstract

Lisätyn todellisuuden laseja käytettäessä graafiset objektit nähdään havaintokentässä reaalimaailman näkymän päällä. Täten ohjeita katsottaessa ei tarvitsisi lähtökohtaisesti pyrkiä muistamaan tehtävän suoritusvaiheita samalla tavalla, kuin perinteisesti paperiohjeita katsottaessa. Tutkimuksen lähtökohta oli selvittää, mitkä tekijät vaikuttavat jatkuvasti näkökentässä olevan informaation työmuistiprosessointiin, sekä miten oletettavasti erilainen työmuistiprosessointi vaikuttaa informaation tallentumiseen pitkäkestoiseen muistiin? Tallentuuko lisätyn todellisuuden lasien kautta havaittava informaatio heikommin pitkäkestoiseen muistiin kuin aktiivista visuaalista representaatiota prosessoiva, paperiohjeista katsottava informaatio? Koe suoritettiin within-tutkimuksena, jossa koehenkilö teki samansisältöisen tehtävän, kasaten lego-palikoista muodostuvan rakennelman joko aloittaen paperiohjetehtävästä tai lisätyn todellisuuden laseilla tehdyllä tehtävällä. Tehtäväsuorituksen jälkeen koehenkilö teki kokeeseen liittyvän muistitehtävän, jonka tulos pisteytettiin. Koehenkilöiden työmuistikapasiteetti mitattiin vielä lisäksi standardoidulla visuaalista työmuistikapasiteettia mittaavalla Visual Patterns Testillä. Tutkimuksessa löydettiin korrelaatiota lisätyn todellisuuden lasien avulla tehdyssä tehtävässä menestymisen ja visuaalisen työmuistikapasiteetin välillä. Paperitehtävä koealustana johti parempaan muistikokeen tulokseen kuin lisätyn todellisuuden lasien kautta tehty tehtävä. Lisätyn todellisuuden lasien ollessa koevälineenä ensimmäisen testipäivän koetilanteessa, olivat koehenkilöiden pistemäärät huomattavasti alempia tämän tehtävän muistikokeessa. Paperitehtävän ollessa toisen testipäivän koevälineenä, olivat muutokset huomattavasti suurempia muistitehtävässä suoriutumisessa. Lisätyn todellisuuden lasit saattoivat helpottaa tehtävän suorittamista, mutta vastaavasti heikentää oppimista. Tutkimus antaa lähtökohdan kehittää työmuistiprosessoinnin tutkimista lisätyn todellisuuden teknologian apuvälineitä käytettäessä.

Augmented reality technology is being developed in various industries from gaming to medicine. Head-mounted-displays and mobile screens are being used to project augmented visual information on users field-of-view. E-g. In mechanics and engineering and other professions that demand instructional guidance when executing a task this method replaces the present way of learning instructions from a paper sheet or a mobile screen. In this research the differences of visual working memory processing when learning a task from a paper sheet instructions or from a head-mounted-display were tested. The need for a concentrated processing of instructional images from a paper sheet using mental representations differs from the way of processing the instruction images from HMD. When the images are constantly present in the field-of-view the need for a centered attention is not required. Information process might affect to the memory consolidation and affect negatively in memory processing. Microsoft Hololens augmented reality glasses were used in this experiment. In the experiment the examinee constructed an abstract build using 21 Duplo Lego bricks in two different forms and colours: blue and green (two shades of green). After the trials a memory task was made. Visual working memory capacity was also tested before the experiment using standardized Visual Pattern Test. Correlation between visual working memory capacity and memory task when Hololens was the platform was found. Also the learning effect between the order of a platform and performing in the task was found. The paper task as a platform gave significantly higher scores in the memory task. Augmented reality glasses as a first platform gave significantly lower scores in the memory test than when the task was learned using the paper sheet. It didn´t matter if the Hololens was the second day platform to the results: the learning effect was lower. This implicates that using augmented reality glasses affects the working memory process. This research gives premises in developing the research of working memory processing in using augmented reality technology.