Examining the role of joint visual attention and tactile artefacts in enhancing long-term memory

Abstract

Daily routines in knowledge-driven work are built around meetings whose practices are not optimized. Relying mainly on verbal and textual exchange of information, misunderstandings can easily occur when the aim is to solve complex cause-and-effect relationships. This thesis study leveraged tactile artefacts as visual communication aids in strategy development. Visual communication methods are said to provide visual points of reference for individual mental models, which facilitate the building of common ground and shared understanding. Besides enhancing communication and strategy development, tactile artefacts were assumed to attract (joint) visual attention of the participants working in groups of 3-4 people, which was studied using mobile eye-tracking. Previous research has found that joint visual attention (JVA) enhances collaboration quality and learning. This thesis examined the effect of (joint) visual attention on visual and narrative long-term memory of the collaborative developed strategy, which was assessed with a half-structured online interview. The narrative long-term memory referred to the verbally explainable strategy, which was iteratively developed with the help of tactile artefacts, while the visual long-term memory pertained to individual artefacts and their assigned meanings. Additionally, the initiators of JVA events were examined from the eye-tracking data, as initating JVA has been shown to enhance recognition memory. The effect of JVA and initiating JVA on long-term memory was analysed with the binary logistic mixed-effects model, using gaze visit—defined as detected continuous gaze on the area-of-interest—as the unit of analysis. The sole effect of visual attention on long-term memory was analysed with a linear mixed-effects model with visit duration as a dependent variable. The results indicate that JVA does not enhance narrative or visual long-term memory. However, initiating JVA does enhance visual long-term memory. The eye-tracking metrics also revealed that the number of fixations during a visit increase the odds of both JVA and initiating JVA, whereas longer visit duration decrease the odds of both. The findings of this study highlight the importance of dynamic and proactive visual engagement and participation in enhancing long-term memory in collaborative settings.

Nykyinen tietotyö sisältää useita kokouksia, joiden käytäntöjä ei ole optimoitu. Pääasiassa suulliseen ja tekstuaaliseen tiedonvaihtoon perustuvat kokousmenetelmät ovat alttiita väärinkäsityksille monimutkaisia syy-seuraussuhteita ratkottaessa. Tässä tutkielmassa tutkittiin taktiilisten artefaktien käyttöä visuaalisina kommunikaation apuvälineinä osana strategian laadintaa. Visuaaliset kommunikaatiomenetelmät tarjoavat näkyviä viittauspisteitä yksilön ajatusmalleihin, jotka edesauttavat jaetun yhteisymmärryksen luomisessa. Kommunikoinnin ja strategian laadinnan tehostamisen lisäksi artefaktien oletettiin kiinnittävän 3–4 hengen ryhmissä toimivien osallistujien (jaetun) visuaalisen tarkkaavaisuuden, jota tutkittiin silmänliikettä seuraavien lasien avulla. Jaetun visuaalisen tarkkaavaisuuden (JVT) on tutkittu parantavan yhteistyön laatua ja edistävän oppimista. Tässä tutkielmassa tutkittiin (jaetun) visuaalisen tarkkaavaisuuden vaikutusta osallistujien narratiiviseen ja visuaaliseen pitkäkestoiseen muistiin yhteistyössä laaditusta strategiasta, jota tutkittiin puolistrukturoidun verkkohaastattelun avulla. Narratiivisen pitkäkestoisen muistin määriteltiin koostuvan artefaktien avulla luodusta suullisesti selitettävissä olevasta strategiasta, kun taas visuaalinen pitkäkestoinen muisti koski yksittäisiä artefakteja ja niiden merkityksiä. Lisäksi silmänliikedatasta analysoitiin, kuka osallistujista aloitti kunkin jaetun visuaalisen tarkkaavaisuustapahtuman, jonka on tutkittu vaikuttavan muun muassa kuvien tunnistusmuistiin. JVT:n ja sen aloittamisen vaikutusta pitkäkestoiseen muistiin analysoitiin binäärisellä logistisella monitasomallilla, jossa havaintoyksikkönä käytettiin yksittäistä visiittiä eli yhtäjaksoista katsetta tarkasteltavalla alueella. Yksinomaa visuaalisen tarkkaavaisuuden vaikutusta pitkäkestoiseen muistiin analysoitiin lineaarisella monitasomallilla, jossa jatkuvana riippuvana muuttujana oli yksittäisen visiitin kesto. Tutkimuksen mukaan JVT ei paranna narratiivista tai visuaalista pitkäkestoista muistia. Sen sijaan JVT:n aloittaminen parantaa visuaalista pitkäkestoista muistia. Tulosten mukaan yksittäisten fiksaatioiden lukumäärä visiitin aikana lisää JVT:n ja sen aloittamisen todennäköisyyttä, kun taas pidempi visiitin kesto heikentää näiden todennäköisyyttä. Tutkimustulokset korostavat dynaamisen ja aktiivisen visuaalisen tarkkavaisuuden merkitystä tiimityöskentelyssä pitkäaikaisen muistin parantamiseksi.