Impediments to Test Automation Success : A Case Study

Abstract

Ohjelmistotestaus on erittäin tärkeä toiminto sen varmistamiseksi, että tuotettu ohjelmistojärjestelmä käyttäytyy niin kuin sen pitäisi. Useat ohjelmisto-organisaatiot ja -projektit pyrkivät parantamaan testauksen tehokkuutta investoimalla testiautomaatioon. Testiautomaatio voi tarjota monia etuja, joita ovat esimerkiksi testien uudelleenkäytettävyys sekä työmäärän säästäminen testien suorittamisessa. On kuitenkin havaittu, että ohjelmisto-organisaatiot ja -projektit kohtaavat monia esteitä liittyen testiautomaation onnistuneeseen käyttöön. Aikaisemmassa tutkimuksessa on todettu, että testiautomaation esteet voivat olla teknisiä, kuten testijärjestelmään liittyvät esteet tai organisatorisia, kuten liiketoimintaan ja suunnitteluun liittyvät esteet. Jotta testiautomaation esteiden olemusta voitaisiin ymmärtää paremmin, tässä tutkielmassa käsitellään esteitä testiautomaation onnistumiselle sekä sitä, kuinka nämä esteet vaikuttavat testiautomaatioon ja miksi nämä esteet ilmenevät. Tämän tutkielman empiirisenä osana toteutettiin laadullinen tapaustutkimus, jotta voitaisiin tarjota testiautomaation käyttöön liittyviä kokemuksia tosielämän ohjelmistoprojektista. Tutkimuksen empiirinen materiaali kerättiin haastattelemalla seitsemää henkilöä, jotka edustivat eri organisaatiotasoja suuressa testiautomaatiota hyödyntävässä ohjelmistoprojektissa. Tutkimuksessa löydettyjä esteitä testiautomaation onnistumiselle ovat esimerkiksi puuttuvat kehitystaidot, testijärjestelmän tekniset rajoitteet ja testidatan hallinta. Merkittävinä esteinä havaittiin myös riittämätön testiautomaation suunnittelu ja testattavan järjestelmän ulkoiset järjestelmät. Monen testiautomaation esteen nähtiin vaikuttavan siten, että testiautomaatio vie enemmän resursseja, kaikkia tarvittavia alueita ei automatisoida tai että testiautomaatiosta tulee monimutkaisempaa. Monien esteiden syiksi löydettiin testiautomaation alhaiset prioriteetit tai resurssit tai se, että testiautomaatiota ei ajatella tarpeeksi projektia aloitettaessa. Tämä tutkimus validoi ja laajentaa aikaisempaa tutkimusta testiautomaation esteistä sekä vahvistaa ajatusta prioriteettien ja resurssien tärkeydestä testiautomaation onnistumiselle. Lisäksi tutkimus tarjoaa hyödyllistä informaatiota ohjelmisto-organisaatioille ja -projekteille suunnitella testiautomaatio asianmukaisesti ja välttää monia esteitä tulevaisuudessa.

Software testing is a highly important activity to ensure the produced software system behaves as it should. Various software organizations and projects are striving to improve testing effectiveness by investing in test automation. Test automation can provide many benefits such as reusability of tests and effort saved in test execution. However, it has been observed that software organizations and projects are facing many impediments related to the successful use of test automation. In prior research, it has been found that test automation impediments can be technical, such as test system related impediments or organizational such as business and planning related impediments. In order to better understand the nature of test automation impediments, this thesis discusses impediments to test automation success, how these affect test automation, and why these appear. To provide experiences related to the use of test automation from a real-life software project, a qualitative case study was conducted as an empirical part of the thesis. The empirical data of the study was collected by interviewing seven respondents who were representing different organizational levels in a large-scale software project that was utilizing test automation. It was found in the study that impediments to test automation success are, for example, missing development skills, technical limitations of the test system and test data management. Also, inadequate test automation planning and external systems of the system under test were found as notable impediments. Many of the test automation impediments seem to affect so that test automation takes more resources, all necessary areas are not automated, or test automation gets more complicated. Reasons for many of the impediments were found to be the low priorities or resources of test automation or the fact that test automation is not considered enough when the project is initially started. This study validates and extends the prior research of impediments to test automation and strengthens the idea of the importance of priorities and resources to the success of test automation. In addition, the study provides useful information for software organizations and projects to plan their test automation properly and avoid several impediments in the future.