Understanding nonmanuality – A study on the actions of the head and body in Finnish Sign Language

Abstract

This dissertation, consisting of four articles and this Overview, reports a study on nonmanuality, that is, the actions of the face, head and body, in Finnish Sign Language (FinSL). More specifically, the study focuses on a relatively understudied area of nonmanuality: the actions of the signer’s head and body. The study is theoretically rooted in usage-based linguistics, sign language linguistics, gesture studies and semiotics, and the analysis is made and the conclusions are drawn on the basis of corpus narratives and dialogues as well as synchronized Motion Capture and digital video recordings of FinSL. The study investigates the forms and functions of the actions of the head and body, the relationship between the actions of these two body parts, and the connection between a particular type of head movement, a head nod, and the actions of the signer’s hands in FinSL. The study also presents a theoretical view of the signals from the signer’s head and body according to Peircean and post-Peircean semiotics, and discusses the role of nonmanuality in sign languages. The results of the study show that (i) forms and functions of the actions of the head and body form prototypes rather than discrete classes, and that these actions rarely show conventional pairing of one form to one function; (ii) the head and the torso cannot be seen as one articulator, and the co-occurring signals from these two body parts come together into combinations that differ in their degree of complexity both formally and functionally; (iii) systematicity can be found in the co-occurrence of head nods and manual syntactic units in FinSL; (iv) head and body movements involve different proportions of iconicity, indexicality and symbolicity, of which indexicality is generally the most prominent feature; (v) in signed utterances, nonmanual signals are one part of a semiotically complex but communicationally holistic whole; (vi) nevertheless, there are differences in how complementary co-occurring signals are, and in what the central semiotic features of signals from different parts of the signer’s body are; and finally, (vii) that these semiotic centralities can be partly traced back to the physical and anatomical characteristics of different parts of the signer’s body, and that nonmanual signals demonstrate how signification, language and cognition are intrinsically connected to how humans navigate in their physical and social surroundings with their bodies. Keywords: sign language, nonmanuality, head movement, body movement, semiotics, iconicity, indexicality, symbolicity

Tämä väitöskirja koostuu neljästä artikkelista ja tästä yhteenveto-osasta, ja se esittelee tutkimuksen ei-manuaalisuudesta eli kasvoilla, päällä ja keholla tuotetuista elementeistä suomalaisessa viittomakielessä. Tarkalleen ottaen tutkimus keskittyy verrattaen vähän tutkittuun osaan ei-manuaalisuudesta: viittojien päällään ja kehollaan tuottamiin signaaleihin. Tutkimuksen teoreettinen viitekehys yhdistelee käyttöpohjaista teoriaa, viittomakielilingvistiikkaa, eletutkimusta ja semiotiikkaa, ja tutkimuksen analyysi ja johtopäätökset on tehty viittomakielisten korpusmateriaalien sekä liikekaappausaineiston pohjalta. Tutkimuksessa tarkastellaan päällä ja keholla tuotettujen elementtien muotoja ja funktioita, päällä ja keholla tuotettujen elementtien välistä suhdetta, sekä päällä tuotettujen signaalien suhdetta käsien toimintaan suomalaisessa viittomakielessä. Lisäksi tutkimus esittelee teoreettisen näkemyksen päällä ja keholla tuotettujen signaalien semioottisista piirteistä sekä ei-manuaalisuuden roolista viittomakielissä. Tutkimuksen tulokset osoittavat, että (i) päällä ja keholla tuotettujen elementtien muodot ja funktiot muodostavat prototyyppejä pikemminkin kuin tarkkarajaisia kategorioita, ja että tietty muoto harvoin yhdistyy vain tiettyyn funktioon konventionaalisesti; (ii) päätä ja ylävartaloa ei voida tarkastella yhtenä artikulaattorina, vaan samanaikaisesti päällä ja keholla tuotetut signaalit muodostavat eriasteisesti kompleksisia yhdistelmiä sekä muotojensa että funktioidensa puolesta; (iii) pään nyökkäysliikkeet sijoittuvat ajallisesti käsillä tuotettuihin syntaktisiin jaksoihin nähden verrattaen systemaattisesti; (iv) pään ja kehon liikkeisiin liittyy erilaisissa mittasuhteissa ikonisuutta, indeksisyyttä ja symbolisuutta, joista indeksisyys on yleisesti ottaen näkyvin semioottinen strategia; (v) viitotuissa ilmauksissa eri kehon osilla tuotetut signaalit muodostavat semioottisesti kompleksisia, mutta viestinnällisesti yhtenäisiä kokonaisuuksia; (vi) huolimatta kyseisestä yhtenäisyydestä eri signaalityyppien välillä on eroja siinä miten riippuvaisia ne ovat muista signaaleista, minkä lisäksi eroja on löydettävissä myös eri kehonosien semioottisista painopisteistä; sekä (vii) nämä semioottiset painopisteet ovat osittain palautettavissa ihmiskehon eri osien fyysisiin ja anatomisiin piirteisiin, ja ei-manuaaliset signaalit osoittavat miten kaikenlainen merkkitoiminta, kieli ja kognitio ovat sidoksissa siihen, miten ihmiset navigoivat fyysissä ja sosiaalisissa ympäristöissään kehoillaan. Asiasanat: viittomakieli, ei-manuaalisuus, pään liike, kehon liike, semiotiikka, ikonisuus, indeksisyys, symbolisuus