Alustavia havaintoja Unity-spesifistä mutaatiotestauksesta

Abstract

Mutaatiotestaus on keino parantaa ohjelmistotestauksessa käytettyjä testijoukkoja hyödyntäen ohjelmistoon automaattisesti generoituja virheitä. Sitä pidetään parhaimpana – mutta myös resurssivaatimuksiltaan raskaimpana – tapana tavoitella vahvinta mahdollista testijoukkoa. Mutaatiotestauksesta pelikehityksen kontekstissa on hyvin vähän tutkimusta ja tämän tutkielman tavoitteena on antaa alustavia tuloksia Unity-pelimoottorille spesifisti suunnitellun mutaatiotestauksen tehokkuudesta.

Tutkielmassa suunniteltiin Unityn ohjelmointirakenteisiin pohjautuva joukko mutaatio"-operaattoreita ja kehitettiin työkalu, joka mahdollisti mutaatiotestauksen niitä käyttäen. Työkalulla saatuja tuloksia verrattiin perinteiseen mutaatiotyökaluun. Unity-spesifi mutaatiotestaus todettiin huomattavasti nopeammaksi ja vähemmän manuaalista työtä vaativaksi generoitujen mutanttien vähäisemmän määrän vuoksi. Toisaalta perinteisellä mutaatiotestauksella tuotettu testijoukko vaikutti kokeen tulosten perusteella kattavammalta. Kumpikaan testijoukko ei yksinään ollut kuitenkaan hyvin kattava. Siksi tärkeimpänä tuloksena pidettiin, että Unity-pelien tehokasta testausta varten Unity-spesifiä ja perinteistä mutaatiotestausta on käytettävä yhdessä. Tutkimuksen empiirinen osa toteutettiin kuitenkin hyvin suppealla aineistolla ja siksi esiteltiin myös huomattava määrä jatkotutkimusaiheita, joihin pitäisi perehtyä ennen tarkempien päätelmien tekemistä.

Mutation testing is a technique used to improve software test sets by automatically generating errors into a program's source code. It is considered the best – but also most resource-intensive – way to achieve the strongest possible test set. There is very little research done on mutation testing in the context of game development and the aim of this thesis is to provide preliminary results on the effectiveness of mutation testing specifically designed for the Unity game engine.

A set of mutation operators based on Unity programming structures was designed and a tool which enabled mutation testing using them was developed. The results obtained with the tool were compared with ones of a traditional mutation tool. Unity-specific mutation was found to be significantly faster and needing less manual work due to the lower number of mutants generated. On the other hand, based on the results of the experiment traditional mutation seemed to produce a stronger test set. However, neither test set alone was very comprehensive. Therefore the main conclusion was that for effective testing of Unity-games, Unity-specific mutation should be used in conjunction with traditional mutation. However, the empirical part of the study was conducted with a very limited data set and because of that multiple topics for further research were presented. These topics should be explored before drawing more detailed conclusions.