Avoimen lähdekoodin projektien kehitystehtävien valmistumisajan arviointi koneoppimismenetelmin

Abstract

Ohjelmistovirheiden korjausajan arviointi on perinteisesti tehty asiantuntija-arvioinnin perusteella. Automaattisia menetelmiä korjausajan ennustamiseksi on kehitetty lähinnä keskittyen yksittäisiin ohjelmistoprojekteihin. Tässä tutkimuksessa replikoitiin ohjelmistoprojektien kehitystehtävien valmistumisaikoja koneoppimismenetelmin ennustava tutkimus, ja tutkittiin saman menetelmän soveltuvuutta virheraporttien sulkeutumisaikojen ennustamiseen. Koneoppimismenetelmänä käytettiin Random Forest -luokittimia. Aineisto käsitti yli 39 tuhatta avoimesti saatavilla olevaa ohjelmistoprojektia, lähes 13 miljoonaa kehitystehtävää ja yli 1.5 miljoonaa virheraporttia. Replikaatiotutkimuksessa laajempi opetus ja testausdata tuottivat hieman alkuperäistä tutkimusta heikommat tulokset, mutta uudet havainnot kuitenkin vahvistivat alkuperäisiä huomioita. Virheraporttien sulkeutumisajan ennustamisen huomattiin olevat haastavampi tehtävä kuin yleisempi kehitystehtävän valmistumisajan arviointi, ja menetelmää voisi kehittää tutkimalla luokittimen kannalta hyödyllisimpiä muuttujia. Tulosten perusteella näyttäisi siltä, että tekoälyn sovellettavuus yksittäisiä virheraportteja tarkastellessa on vielä heikkoa, mutta siitä voi olla hyötyä suuria tietomääriä käsiteltäessä.

Estimating the resolution time of software defects has usually been done based on expert knowledge. Automatic methods to predict the resolution time has been done mostly by focusing on a few software projects. In this study, a replication of a previous study about predicting the issue resolution time of software projects with machine learning methods was performed, and the suitability of the method to predict the resolution time of defect reports was explored. Random Forest classification was the implemented machine learning method. The data set consisted of over 39 thousand publicly available software projects, almost 13 million issues and over 1.5 million defect reports. Larger data set of the replication produced slightly weaker results compared to the original paper, but new observations verified the points of the original study. Predicting the resolution time of defect reports turned out to be a harder task than the more general task of predicting resolution time of an issue. The method could be improved by studying the most useful features for the classifier. On the basis of the results, it would seem that the applicability of artificial intelligence when inspecting isolated defect reports is poor, but it could be useful when handling large data collections.