Mimetic relationships between bodily movement and musical structure : theory, measurement, and application

Abstract

Music moves us. It moves our body and our feelings. One needs to move the respiratory tract to sing, hands and fingers to play a musical instrument, perhaps the whole body to dance along with music. Even when one doesn’t move, one might be emotionally moved by the music. These movements—actual or metaphorical—closely relate to the musical sound, as if one imitated the other. This coupling acts to communicate what is difficult to express otherwise: emotions. In effect, relations between music and bodily movement are numerous and diverse. The goal in this dissertation has been to examine specific aspects of such relations to gain a better understanding of them, as well as to use this understanding to devise novel digital musical instruments. First, a theoretical model was formulated to explain musical interaction. Here, people and musical instruments are regarded as agents that communicate by means of sensory signals organised in a hierarchical temporal structure of gestures at different timescales. This theory was utilised as a framework for the subsequent research, which dealt with measurement of different aspects of the framework. The first aspect related to modelling temporal segmentation of bodily motion. A method was developed and tested which is based on detection of change points, works in real time, and detects perceptually relevant gestures at different timescales. This method was applied to a novel gesturally controlled digital musical instrument, and to a system for musical sonification of daily activity to aid in reducing sedentarism. The second aspect of measurement provided new insights into the extent to which emotions may be conveyed by the body when playing an instrument or when dancing, and how this might be affected by perceptual sensory modalities and personality traits. The most salient factor was found to be not visual but auditory, with minor and major tonality being most strongly related to the perception of negative and positive emotions, respectively. Regarding movement, personality had a significant relationship with the way and extent that emotions were expressed in spontaneous dance, with Openness having the strongest relation, and Neuroticism and Conscientiousness the weakest. These contributions to knowledge serve to better understand musical phenomena and to advance innovation in the design of technologies for making music.

Musiikki liikuttaa meitä. Se liikuttaa kehoamme ja tunteitamme. Laulaakseen pitää liikuttaa hengityselimiä, soitinta soittaakseen käsiä sekä sormia ja musiikin mukana tanssiakseen ehkä koko kehoa. Vaikka ihminen ei liikukaan, musiikki saattaa liikuttaa häntä emotionaalisesti. Nämä liikkeet – todelliset tai metaforiset – liittyvät läheisesti musiikilliseen ääneen, ikään kuin toinen matkisi toista. Tämä kytkentä toimii välittäen asioita, joita on vaikea ilmaista muuten: tunteita. Musiikin ja kehon liikkeen väliset suhteet ovatkin lukuisia ja monelaisia. Tämän väitöskirjan tavoitteena on ollut tarkastella tällaisia suhteita tietyistä näkökulmista niiden ymmärtämiseksi paremmin sekä käyttää tätä ymmärrystä uusien digitaalisten soittimien kehittämiseen. Ensin kehitettiin teoreettinen malli musiikillisen vuorovaikutuksen selittämiseksi. Mallissa ihmiset ja soittimet nähdään toimijoina, jotka kommunikoivat aistisignaalien välityksellä. Aistisignaalit ovat järjestäytyneet hierarkkiseen ajalliseen rakenteeseen eri aikaskaaloilla. Tätä teoriaa käytettiin viitekehyksenä seuraavissa tutkimuksissa, joissa keskityttiin mittaamaan viitekehykseen liityviä näkökulmia. Ensimmäinen näkökulma liittyi kehon liikkeen ajallisen segmentoinnin mallintamiseen. Tutkimuksessa kehitettiin ja testattiin menetelmä, joka perustuu muutospisteiden havaitsemiseen, toimii reaaliajassa ja havaitsee merkitykselliset eleet eri aikaskaaloilla. Tätä menetelmää sovellettiin uuteen eleohjattavaan digitaaliseen musiikki-instrumenttiin ja päivittäistä toimintaa kuvaavaan musiikilliseen sonifikaatiojärjestelmään, jonka avulla voidaan mahdollisesti vähentää sedentarismia. Mittauksen toinen näkökulma tarjosi uutta tietoa siitä, missä määrin keho voi välittää tunteita instrumenttia soitettaessa tai tanssittaessa, ja miten aistikanavat ja persoonallisuuden piirteet voivat vaikuttaa tähän. Keskeisimpänä tekijänä havaittiin olevan auditiivinen aistikanava visuaalisen sijaan, ja molli- ja duuri-tonaliteetti liittyi vahvimmin negatiivisten ja positiivisten tunteiden aistimiseen. Spontaanissa tanssissa taas persoonallisuudella oli merkittävä yhteys tapaan, jolla tunteet ilmaistaan. Persoonallisuuden piirteistä avoimuudella oli vahvin yhteys, neuroottisuudella ja tunnollisuudella oli heikoin. Nämä tulokset auttavat ymmärtämään musiikillisia ilmiöitä paremmin. Lisäksi ne auttavat kehittämään innovaatioita, joita voidaan hyödyntää, kun suunnitellaan teknologioita musiikin tekemiseen.