User requirements elicitation with interviews and protocol analysis methods

Abstract

Tämän tutkimuksen tarkoituksena on kuvata kahden käyttäjävaatimusten keräysmenetelmän, haastattelujen ja ääneen ajattelun toteutus, kerätyn materiaalin analysointi, siitä käyttäjävaatimusten johtaminen käytettäväksi järjestelmän jatkokehityksessä sekä lopulta vertailla menetelmien tuloksia. Kaikkiaan 8 istuntoa järjestettiin verkkokokouksina, jotka nauhoitettiin. Järjestelmä oli kaikille osallistujille ennestään tuttu ja jokaisessa istunnossa toteutettiin molemmat menetelmät. Tallennettu materiaali analysoitiin siten, että käyttäjien puheesta ja toimista järjestelmässä pyrittiin tunnistamaan järjestelmään liittyviä haasteita. Haasteita tarkasteltiin sen perusteella mikä voisi olla niiden taustalla oleva ongelma tai mihin ongelmiin ne voisivat johtaa. Tämän jälkeen ongelmista johdettiin ehdotuksia käyttäjävaatimuksiksi, jotka voisivat toimia ratkaisuna löydettyihin ongelmakohtiin. Lopuksi sekä ongelmat että käyttäjävaatimukset jaettiin kategorioihin ja laskettiin. Osallistujat olivat puheliaampia haastatteluissa, vaikka heitä ohjeistettiin ja kannustettiin kertomaan ajatuksistaan ääneen ajattelu -menetelmän tehtäviä suorittaessaan. Kokonaismäärältään enemmän käyttäjävaatimuksia saatiin kerättyä haastatteluista esimerkiksi Prosessit-kategoriaan, johon luokiteltiin vaatimuksia, jotka liittyvät järjestelmään ja sitä ympäröiviin prosesseihin. Ääneen ajattelun avulla löydettiin enemmän järjestelmän käytettävyyteen liittyviä käyttäjävaatimuksia, osallistujien muistaessa ja kertoessa järjestelmään liittyvistä ongelmista paremmin heidän samalla käyttäessään järjestelmää. Myös vain tarkkailemalla osallistujien toimia voitiin huomata ongelmia ja vikoja järjestelmässä, joita ei olisi tullut esille haastatteluissa. Näin näiden kahden menetelmän voitiin todeta täydentävän toisiaan. Kerättyjen käyttäjävaatimusten määrä oli suuri, vaikka siihen osallistui vain 8 henkilöä. Yksi syy haastattelu ja ääneen ajattelu -menetelmien valinnalle oli, että ne eivät vaadi suurta otoskokoa kerättyjen tietojen monipuolisuuden vuoksi. Tämä voitiin myös tässä tutkimuksessa todeta, varsinkin menetelmät näin yhdistettäessä.

The purpose of this study is to describe the implementation of two user requirements elicitation methods, Interviews and Protocol Analysis, analyse the gathered material and to derive problems and user requirements from it to be used in a system upgrade, and to finally compare the results from the methods. A total of 8 sessions were conducted as online meetings that were recorded. All of the participants were previously familiar with the system and each in session, both of the methods were executed. The recorded material was analysed so that issues with the system or the surrounding processes were identified from the users’ input. The issues were considered based on what could be the underlying problem causing them or what problems they could lead to. Finally, user requirements were derived from the problems, suggesting what would solve the problems. The problems and user requirements were then divided into categories and their frequencies were counted. The participants were more talkative in the conducted Interviews even though they were instructed and encouraged for thinking aloud while performing the Protocol Analysis tasks. The Interviews yielded more user requirements in total, and for an example, to categories such as Processes where we focused on finding out the processes surrounding and related to the system. With Protocol Analysis we gathered more user requirements related to the system’s usability, as the participants were more likely to remember and point out problems with the system while interacting with it. Problems and bugs in the system could also be recognised by only observing the participants’ actions in the system which would not have come up in the interview. This way the two methods were seen to complement each other. The number of gathered user requirements was extensive even with only 8 participants. As it was one reason for selecting the Interviews and Protocol Analysis methods, this study also demonstrated that the two methods do not require a large sample size due to the richness of the collected data, especially when combined.