Reducing strain and increasing gain of remote work group meetings with physiological indicators : Final Report of the PhinGAIN project

Abstract

Käsillä oleva raportti on Työsuojelurahaston rahoittaman Työryhmien etäpalaverien kuormittavuuden vähentäminen ja hyödyllisyyden lisääminen fysiologisten mittareiden avulla (PhinGAIN) -tutkimushankkeen loppuraportti. Tutkimus toteutettiin tammikuun 2021 ja elokuun 2023 välisenä aikana konsortiohankkeena Jyväskylän ja Oulun yliopistojen tutkimusryhmien yhteistyönä. Hanke jakautui kahteen osaan, joista ensimmäinen oli sisällöllinen ja toinen tekninen. Hankkeen yleisenä tavoitteena oli tuottaa uutta ja laajasti sovellettavaa tietoa siitä, miten hyödyllistä osallistumista etäpalavereissa voidaan tukea ja palaverien kuormittavuutta osallistujille ja palaverien vetäjille vähentää fysiologisten mittareiden antaman tiedon avulla. Tutkimuksen aineisto koostui neljästä työryhmien työnohjausprosessista, joissa kukin noin seitsemästä yhdeksään henkilön ryhmä tapasi kuusi kertaa työnohjaajan johdolla. Tapaamisia oli aineistossa yhteensä 24 ja ne toteutettiin ja tallennettiin Zoom- verkkokokouspalvelussa. Tutkimukseen osallistui 31 mielenterveys- ja päihdepalveluiden ammattilaista sekä kaksi kokenutta työnohjaajaa. Osallistujat tallensivat tapaamisten aikana omat kasvokuvavideonsa ja mittasivat sykettään pulssioksimetrilaitteella. Tapaamisten jälkeen sekä ohjaajat että ohjattavat arvioivat istunnon vuorovaikutusta sekä tunnistivat keskustelun hyödyllisiä ja kuormittavia kohtia. Lisäksi he arvioivat työtilanteensa yleistä kuormittavuutta tapaamisen aikaan. Aineiston keruu tapahtui Covid-19 pandemian vuoksi kokonaan etäyhteydellä. Tapaamisten jälkeen ohjaajat ja osallistujat lähettivät tallenteet tutkijoille suojattua verkkoyhteyttä käyttäen. Asetelma ja aineiston keruun tehtävät olivat vaativia, joten kaikille osallistujille järjestettiin tutkimusavustajien toteuttama henkilökohtainen tuki ennen ja jälkeen kunkin tapaamisen. Tutkimuksen ensimmäisen osan tavoitteena oli tunnistaa, mikä on työskentelyn kannalta optimaalinen aktiivisuuden ja vireyden tila, ja millaiset keinot edistävät sen syntymistä ja ylläpitoa ryhmän työnohjaustapaamisissa. Tutkimme aktivaatiota kahdella eri tasolla: (i) vuorovaikutukseen sitoutumista (engagement) ilmaisevien sanallisten ja sanattomien käyttäytymisten sekä (ii) osallistujien fysiologisen vireystilan vaihteluiden tasolla. Havaitsimme, että hyvää ja osallistujien hyödylliseksi kokemaa vuorovaikutusta saadaan aikaan videovälitteisesti. Aktiivinen osallistuminen palaveriin sekä omilla puheenvuoroilla että läsnäoloa ja kiinnostusta viestivien sanattomien vuorovaikutuskeinojen avulla oli yhteydessä palaverin koettuun hyötyyn ja vuorovaikutuksen laatuun. Mitä enemmän osallistuja puhui ja ilmaisi vuorovaikutukseen sitoutumista myös ilmeillään, eleillään ja liikkeillään, sitä paremmaksi tapaamiset arvioitiin. Havaitsimme myös, että tapaamista edeltävän työtilanteen kuormittavuus vaikutti kokemukseen sen hyödyllisyydestä. Mitä kuormittavampi työtilanne oli, sitä heikommaksi osallistujat arvioivat tapaamisen laadun. Tärkeä havainto oli, että tapaamisten alussa toteutettu lyhyt yhteinen hiljainen jakso silmät suljettuina rauhoitti työnohjaukseen osallistujien fysiologista tilaa. Vain kahden minuutin mittainen jakso riitti siihen, että osallistujien sykkeet laskivat tilastollisesti merkitsevästi. Arviointilomakkeilla monet osallistujat tunnistivat, että rauhoittumishetki oli ollut tärkeä ja hyödyllinen. Kahdessa otokseltaan pienessä laadullisessa tutkimuksessa tarkastelimme vuorovaikutusta hyödyllisiksi arvioiduissa keskusteluepisodeissa. Havaitsimme, että ohjaajat tukivat niissä ohjattavien aktiivista osallistumista, edistivät keskustelujen koherenssia, sekä haastoivat ja kutsuivat osallistujia ottamaan uusia näkökulmia puheena oleviin asioihin. Tällaisten hyödyllisten keskustelujaksojen yhteydessä havaittiin, että aktiivisesti keskustelussa mukana olevien osallistujien sykevälivaihtelu lisääntyi, mikä viittaa fysiologiseen rauhoittumiseen. Tutkimuksen toisessa osassa tavoite oli tekninen: kehittää sykkeen ja hengityksen analysointia videokuvasta erityisesti, kun kuvattava puhuu ja saattaa myös kokea ja ilmaista voimakkaita tunteita. Kehitimme ohjaamattoman oppimisen menetelmän, joka pystyy langattomasti mittaamaan fotopletysmografisignaalia (rPPG) eli sykettä kasvokuvavideoista. Testeissä osoittautui, että menetelmän avulla saavutetaan erittäin hyvä mittaustarkkuus. Lisäksi hankkeessa kokeiltiin multimodaalisia tekniikoita, joiden avulla voidaan yhdistää fysiologisia ja käyttäytymispiirteitä stressi- ja kuormittavuustasojen mittaukseen. Kolme päähavaintoa olivat: 1) rPPG-piirteet toimivat paremmin stressin arviointiin kuin käyttäytymispiirteet; 2) kahden minuutin aikaikkuna on riittävä rPPG analyysiin keskittymistasojen mittaukseen; 3) kasvonilmeiden lihasten jännittyminen ja pään liikkeet ovat tehokkaita käyttäytymispiirteitä keskittymistasojen mittaukseen videolta havaittuina. Reaaliaikaiseen rPPG-signaalin mittaukseen kehitettiin matkapuhelinsovellus ja menetelmää testattiin keräämällämme etäpalaveriaineistolla.

This is the final report of the Reducing strain and increasing gain of remote work group meetings with physiological indicators (PhinGAIN) research project funded by the Finnish Work Environment Fund. The PhinGAIN research was conducted 1/2021- 8/2023 as a consortium project in collaboration with the University of Jyväskylä’s and the University of Oulu’s research teams. The research tasks were divided into two parts, the first one being thematic and the second one technical. The main aim for the study was to bring about new and largely applicable knowledge on how useful participation could be supported and participants’ strain could be reduced in remote work group discussions using physiological measures during the meetings. The data for this study consists of four online work group supervision processes, six sessions for each group, 24 sessions altogether. Participants were 31 supervisees (seven to nine per group) and two experienced supervisors. Sessions took place and were recorded on the Zoom videoconference service. Additionally, participants recorded their own face videos, and measured their heart rate with pulse oximeter device. Participants evaluated the interactions after each session with a web-based questionnaire and rated the amount of strain at work at the time of the session. Due to the Covid-19 pandemic, the data were collected remotely. In the first part of the study, our aim was to study what is an optimal state of activation for working group meetings and how it can be facilitated in interaction during the meetings. We studied activation in participants’ (i) verbal and nonverbal behaviors displaying engagement, and (ii) changes in the level of physiological arousal. We found that good interaction that the participants consider useful is possible in online mediums. For the success of a meeting, active participation in discussion is beneficial. The participants considered a meeting to be more useful the more actively they participated in the discussion with their own speaking turns, and also with their nonverbal behaviors. Meetings were found to be less useful when people participated in them when they already felt their work situation straining. We also noticed that a shared, quiet calming-down moment with closed eyes at the beginning of the remote meeting was useful for the participants. In only two minutes, participants’ heart rates lowered to a statistically significant degree, and this brief calming down had been important for many participants. In qualitative case studies we focused on episodes that the participants had mentioned being especially useful for them. Supervisors had an important role in facilitating active participation and engagement of the supervisees. They also promoted conversational coherence and challenged the supervisees to take new perspectives. During this kind of useful dialogue, the heart rate variability (HRV) of the participants who actively took part in the conversation increased. In the second part of the study, our aim was to develop a procedure for measuring heart rate from face videos in a conversational setting during which participants may talk and express emotions. We developed an unsupervised learning method, which can remotely measure photoplethysmography (rPPG) signals from facial videos. It was tested on our collected online group meeting video dataset and achieved superior accuracy for heart rate measurements. We further explored multi-modal approaches to fuse physiological and behavioral features for estimating stress and engagement levels. Three main findings are: 1) rPPG features work better than behavior features for stress estimation; 2) a time window of two minutes is sufficient for rPPG analysis for engagement measure; 3) Facial Action Units and head rotation are efficient behavioral features for engagement measure. We implemented the proposed rPPG method as a mobile application, which works well for real-time heart rate measurement.