Multivariate statistical analysis of thematic changes in customer feedback

Abstract

Tässä opinnäytetyössä tehdään asiakaspalautteen teemamuutosten tilastollinen monimuuttuja-analyysi keskittyen ensisijaisesti monimuuttujamenetelmiin. Tutkimusaineisto on hankittu Aiwo Digital Oy:ltä, joka on saanut aineiston asiakasyrityksiltään. Analyysi keskittyi pseudonymisoituihin teemamuuttujiin, jotka ovat binäärikoodattuja, ja osoittavat, esiintyikö teema yksittäisessä palautteessa. Teemojen lisäksi datassa oli taustamuuttujia ja tunne, joka ilmaisi palautteen sävyä.

Ensisijaisena tavoitteena oli ryhmitellä teemat, jotka käyttäytyivät samalla tavalla tutkimusjakson aikana. Käytimme hierarkkista ryhmittelyä binäärisen monimuuttujadatan ryhmittelemiseen. Opinnäytetyössä tarkastellaan erilaisia samanlaisuusmittoja binääristen teemavektoreiden välillä ja erilaisuusmittoja ryhmien välillä. Aukkosuuretta ja siluettisuuretta tarkasteltiin kriteereinä optimaalisen ryhmämäärän valintaan. Ryhmittelimme 79 teemamuuttujaa kahteen ryhmään. Aggregoimme päivittäisen datan viikkotasolle ja tutkimme eri teemaryhmien teemaesiintymiä. Löysimme seitsemän teemaa (ryhmä 1), jotka osoittivat samanlaista käyttäytymistä koko tutkimusjakson ajan.

Käsittelimme metrisen moniulotteisen skaalauksen (MDS) teoriaa ja käytimme MDS:ää moniulotteisen teemadatan visualisointiin matalaulotteisessa avaruudessa. Laskimme uusioluottamusvälit teemaesiintymille. Tutkimalla luottamusvälejä havaitsimme, että kaikki ryhmän 1 muutokset eivät näyttäneet johtuvan ainoastaan satunnaisesta vaihtelusta. Käytimme negatiivista binomiregressiota temaesiintymien mallintamiseen viikosta ja tunteesta riippuen. Palaute, jossa ryhmän 1 teemoja esiintyi, oli enimmäkseen negatiivista.

Tulosten tulkintaa varten, saimme Aiwolta jälkikäteen tiedot todellisista teemoista, jotka olivat ryhmän 1 pseudonymisoitujen teemojen takana. Viisi teemaa ryhmässä 1 liittyi käytettävyyteen ja kaksi asiakaspalveluun. Päättelimme, että näiden teemojen muutokset saattoivat johtua käyttöliittymän tai joidenkin asiakassovellusten käyttötavan muutoksesta. Negatiivinen palaute voi indikoida, miten käytettävyyden muutokset on otettu vastaan. On syytä myös huomioida, että merkittävä määrä negatiivista palautetta annetaan tyypillisesti silloin, kun jokin ei toimi odotetulla tavalla. Tarkempi tulkinta vaatisi asiakaspalautteiden analysointia tekstitasolla tai asiakasyrityksen omaa arviota.

This thesis conducts a multivariate statistical analysis of thematic changes in customer feedback, primarily focusing on multivariate methods. The study data were obtained from Aiwo Digital Oy, which received it from their client companies. The analysis focused on pseudonymized binary-coded theme variables, which indicate whether the theme occurred in an individual feedback. In addition to themes, there were also background variables, and sentiment, which indicated the tone of the feedback.

The primary goal was to group themes that behaved similarly over the study period. We applied hierarchical clustering to group the binary multivariate data. The thesis discusses various similarity measures between binary theme vectors and dissimilarity measures between clusters. The gap statistic and the silhouette coefficient were considered criteria for choosing an appropriate number of clusters. We clustered 79 theme variables into two groups. We aggregated data on a weekly basis and investigated the theme occurrences of different theme groups. Finally, we discovered seven themes (Group 1) that exhibited similar behavior throughout the study period.

We discussed the theory of metric multidimensional scaling (MDS) and applied metric MDS to visualize the multidimensional theme data in a low-dimensional space. We calculated bootstrap confidence intervals for theme occurrences. Through an investigation of the confidence intervals, we discovered that not all changes in Group 1 appeared to be solely due to natural variation in the data. We applied negative binomial regression to model theme counts depending on the week and the sentiment. Feedback in which themes of Group 1 occurred appeared to be primarily negative.

For an interpretation of the results, after the study, we were given the real themes behind the pseudonymized themes of Group 1 by Aiwo. Five themes in Group 1 related to usability and two to customer service. We concluded that the changes in these themes were likely due to the change in the user interface or in the method of use of some client applications. The negative feedback may indicate how the changes in usability have been received. Still, it is also worth noting that negative feedback is typically received when something does not function as expected. A thorough analysis of the customer feedback at the text level or the client's assessment would be necessary for a more accurate interpretation.