Real-time musical sonification in rehabilitation technology

Abstract

Liikkeeseen perustuva musiikillinen palauteääni voi tehdä meidät tietoisemmiksi tavasta jolla liikumme. Kun liike muunnetaan sen äänelliseksi vastineeksi, ääni voi kertoa kehon tai raajojen asennosta sekä liikkeen laadusta. Musiikillisen palautteen avulla on mahdollista oppia uudelleen karkea- tai hienomotorisia taitoja. Ääni voi myös kompensoida heikosti toimivaa asentoaistia, ohjata toimintaa tai edistää sosiaalista kanssakäymistä. Toistuvissa itsenäisissä harjoitteissa musiikki motivoi leikillisen ja tunteisiin vetoavan luonteensa takia. Lisäksi musiikki on interaktiivinen ja hyvin joustava työkalu kuntoutuksessa, jossa voidaan hyödyntää myös vaistonvarainen liike musiikin tahtiin. Tässä tutkielmassa tarkastelen kirjallisuuskatsauksen kautta, miten liikkeellä luotu musiikki voi parantaa toimintakykyä. Käsittelen reaaliaikaista musiikillista palautetta kuntoutusteknologiassa ja aistinkorvauslaitteissa sekä musiikillisia interaktiomalleja harjoitusten ohjaajana. Nykyään liikkeiden mittaukseen tarvittava tekniikka on myös älypuhelimissa, mikä on mahdollistanut uusia ratkaisuja erilaisiin terveystilanteisiin, esimerkiksi näkörajoitteisten, kipupotilaiden sekä kävelyn uudelleenoppimisen avuksi. Kehittyneet järjestelmät myös tunnistavat tunnetiloja ja yhdistävät tiedon algoritmiseen säveltämiseen. Koska musiikilliseen ääneen voidaan sisällyttää sekä liikkeen tekninen laatu että sen sisältämä tunne, voidaan palautteen avulla sekä muokata liikeratoja että säveltää liikkuen, esimerkiksi aktiivisessa ilmaisuterapiassa. Musiikki aktivoi mieltä ja kehoa vaikuttaen havainnon ja toiminnan jatkuvaan prosessiin osana kehollista kognitiota. Siksi se on monipuolisesti vaikuttava työkalu.

Instant feedback with musical sounds can make us more aware of how we move. Converting motion into an auditory display can inform about arm position, posture, or performance quality, for instance. Musical feedback can help relearn gross and fine motor functions. It can compensate for weak proprioception and guide and promote social interaction. In addition, music causes motion to the rhythm with functional relevance. Musical sounds are motivational in repetitive and independent exercises due to their playful and emotional character. Thus, music provides an interactive and flexible tool in a rehabilitation context. With a literature review, I study applying the idea of producing music with motion to improve independence and functionality. I examine real-time transformable musical sounds in rehabilitation and cross-modal training technology and the interaction models for pseudo-supervised workouts in day-to-day circumstances. Now, virtually everybody carries a precise kinematics meter, a smartphone that has enabled new adaptations for people suffering from various deficiencies. Applications help with chronic pain, relearning or stabilizing gait, and visual impairment, for instance. Then, sonifying motion with emotion is feasible too. Advanced systems recognize affective states and combine the data with algorithmic composing. Thus, active, expressive therapy can employ sonification as a creative utility. We can shape gestures, alter moods and make music by moving. Music engages complex mechanisms activating our bodies and minds, contributes to the connection between perception and action, and involves embodied cognition. Therefore, it is a pervasive tool.