Näkökulmia laskennallisen luovuuden arviointiin

Abstract

Laskennallisen luovuuden tutkimus on verrattain nuori monitieteinen tutkimusala, jolla on saavutettu merkittäviä tuloksia viime vuosina. Alalta kuitenkin puuttuvat yleisesti hyväksytyt arviointimenetelmät. Tässä tutkielmassa tarkastellaan kriittisesti luovuuden arviointiin käytettyjä menetelmiä sekä empiirisestä että käsitteellisestä näkökulmasta. Sen tarkoituksena on auttaa kartoittamaan luovuuden psykologiseen arviointiin liittyviä tekijöitä sekä luomaan parempia menetelmiä arvioida laskennallista luovuutta. Tutkielmassa ihmisten kognitiivisia arviointitapoja selvitettiin kyselytutkimuksella, jossa tarkasteltiin, miten ihmiset arvioivat yhdeksää ihmisten ja tekoälysovellusten tekemää taideteosta ja mitkä tekijät arviointeihin vaikuttavat. Arvioitavat teokset edustivat musiikkia, kuvataidetta ja runoutta. Tutkimuksessa luovuus jaettiin neljäksi muuttujaksi: uutuudeksi, odottamattomuudeksi, arvoksi ja viestillisyydeksi. Luovuuden arviointitapoja tutkittiin kyselyn strukturoitujen kysymysten vastauksista tehtyjen varianssianalyysimallien avulla sekä laadullisesti vastaajien tulkitsemien merkitysten sisällön analyysilla. Tulosten perusteella pääteltiin, että havaittu arvo ja viestillisyys erottivat selkeimmin ihmisten tekemät teokset tekoälyteoksista. Kyselyn toisessa osassa tutkittiin, tunnistavatko vastaajat tekoälyn tekemät teokset ihmisten tekemistä ja millaisin päättelytavoin tekijä erotetaan. Oikeiden vastausten summien keskiarvoja vertaamalla havaittiin, että vastaajat kykenevät tunnistamaan kuvataide- ja runoteosten tekijät melko helposti, mutta musiikkikappaleiden tekijän vastaajat tunnistavat heikosti. Vastauksista rakennetun logistisen regressiomallin ja laadullisen aineiston tyypittelyn tuloksista pääteltiin, että teosten korkea koettu arvo ja viestillisyys ennustavat tekijän olettamista ihmiseksi. Tutkimus antaa hieman tukea kirjallisuudessa oletetulle arvoharhapäätelmälle, jonka mukaan ihmiset liittävät tekoälyn tuotoksiin helposti negatiivisia arvo-oletuksia. Tutkielma esittää yleiskuvan siitä, miten ihmiset arvioivat laskennallista luovutta ja millä tasolla tekoälyn taiteellinen luovuus tällä hetkellä on. Tutkimus edustaa luovuuden perustutkimusta, mutta sen tuloksilla on sovelluskohteita tekoälytutkimuksessa ja ihmisen ja älykkään teknologian vuorovaikutuksen suunnittelussa.

Computational creativity is a relatively new field of transdisciplinary research that has produced significant results in recent years, yet it lacks validated formal evaluation metrics. This study asserts aforementioned issue by critically examining the theoretical basis of the evaluation methods with both empirical findings and conceptual analysis. The purpose of the present study is to re-search psychology of creativity evaluation and to give means to improving evaluation methods in computational creativity. The question, how do people cognitively evaluate computationally produced creative artifacts, was assessed with survey in which each participant was asked to evaluate nine pieces of art composed by both human and computational subjects. Creativity was conceptually divided into four variables: novelty, unexpectedness, value and message. The stimuli used in the survey represented fields of music, painting, and poetry. Perceived creativity of artifacts was analyzed using repeated measures ANOVA models from structured answers collected in survey. Analysis found that perceived value and message differentiate human-made artefacts from ones made computationally. Another question researched in the survey was whether participants differentiate human-made artifacts from computationally made ones and what factors influence their reasoning. The study found by comparing means of correct identifications of producers that participants can comfortably differentiate human-made paintings and poems, but not pieces of music. The binary logistic regression model was used to determine which factors influence the reasoning between human and artificial intelligence as the producer. Results indicate that high level of perceived value and message predict human in answers. The qualitative analysis of answers also supports that participants use perceived value and message as an important heuristic for differentiating the producer. The study gives a slight support for value bias in participants reasoning, as proposed in the literature. Survey data offers evidence that people associate negative value expectations more easily to computational subjects than human subjects. The study outlines a general view to people’s means of evaluating computational art and the present state of computational creativity. Although the study represents basic research into creativity, it does offer possible applications to artificial intelligence development and human-technology interaction design.