Joukkoistamisen laadunhallinta

Abstract

Joukkoistaminen on ongelmanratkaisutapa, jolla valjastetaan avoimen kutsun avulla tavoitettua yleisöä ratkaisemaan annettua tehtävää. Joukolla on suuri potentiaali, mutta tuntemattomalle yleisölle annettu ongelmanratkaisu voi olla laadunhallinnan kannalta haastavaa. Tämän tutkielman tavoitteena oli luoda yleiskuva joukkoistamisen laadunhallinnasta: perustella laadukkuuden merkitystä ja siihen vaikuttavia tekijöitä, sekä esitellä menetelmiä laadun hallitsemiseksi. Tutkimuksen tuloksia voidaan käyttää eri menetelmien valinnan tukena. Tutkielma toteutettiin kirjallisuuskatsauksena. Tutkimuksen aikana havaittiin, että laatua voivat ennustaa osallistujien profiili, kuten kuinka hyvä maine ratkaisijalla on, tai kuinka asiantunteva hän on. Tämän lisäksi tehtävän suunnittelu vaikuttaa: kuinka hyvin tehtävä on määritelty ja jyvitetty, millainen käyttöliittymä on, ja millaisia palkintoja osallistujalle tarjotaan. Negatiivisesti laatuun voivat vaikuttaa tekijän epäeettisyys, epäpätevyys, pahantahtoisuus tai kognitiivinen vinouma. Laatua voidaan hallita useilla menetelmillä, jotka on jaettu suunnittelun- ja toiminnanaikaisiin. Suunnittelunaikaiset perustuvat siihen, että tehtävä on mahdollisimman hyvin suunniteltu, tai osallistuva tekijä on esivalittu ominaisuuksiensa mukaan. Toiminnanaikaiset menetelmät pyrkivät vaikuttamaan laatuun siinä vaiheessa, kun tehtävän ratkaiseminen on alkanut. Tällaisia keinoja ovat muun muassa asiantuntijan arvio lopputuloksesta tai tuloksen vertaaminen yleisesti tunnettuun totuuteen. Usean menetelmän käyttö voi samanaikaisesti olla tarpeen, mutta monetkaan menetelmät eivät sovi kaikkiin joukkoistamistarpeisiin. Muita joukkoistamisen laadunhallinnan haasteita ovat muun muassa enemmistön mielipiteen harhaanjohtavuus, tai tekijän pahojen aikeiden tunnistaminen.

Crowdsourcing is a method of problem solving. It harnesses a crowd through an open invitation to solve a task. Crowdsourcing has a great potential, but by outsourcing problem solving to an unknown crowd may result into quality challenges. The motivation of the thesis was to create an overview of quality management in crowdsourcing: why quality is important, which factors affect quality, and how to manage quality. The results of this thesis can be used to support in choosing quality management methods. This thesis was conducted as a literature review. This study shows that quality can be predicted from the profile of contributors. In addition, task design has an impact: how well the assignment is defined and granulated, what kind of user interface is used and what incentives are offered for the contributors. Risks of bad quality can be unethical behavior, incompetency, maliciousness or cognitive bias of the contributor. Quality can be managed by several methods, which can be categorized into design-time and runtime methods. Design-time methods rely on the best possible design of the task, or the contributor is pre-selected by certain criteria. Runtime methods affect the quality when the task has already been presented to the contributors. Such means include for instance expert analysis or comparing the contribution to a gold standard. Using multiple methods parallelly can be beneficial but all methods are not suitable for all crowdsourcing pursues. Other challenges in quality management can be for instance the fact that a crowd's opinion may be misleading, or the difficulty to identify maliciousness of a contributor.