Comparing ranking-based collaborative filtering algorithms to a rating-based alternative in recommender systems context

Abstract

Suuri sisältövalikoima eri internet palveluissa, kuten verkkokaupoissa, voi aiheuttaa liian suurta informaatiomäärää, mikä heikentää asiakaskokemusta. Suosittelujärjestelmät ovat teknologioita, jotka tukevat asiakkaan päätöksentekoa tarjoamalla ennustettuja suosituksia. On yleistä, että asiakkaalle näytetään lista tuotteista, joista asiakas voisi pitää, esimerkiksi top-10 lista elokuvista. Perinteisesti nämä listat ovat tuotettu käyttäen perinteistä arvosanapohjaista menetelmää, missä tuntemattomille tuotteille ennustetaan arvosana ja järjestetty lista muodostetaan arvosanojen perusteella. Sijoitusperusteinen lähestyminen laskee käyttäjien väliset samankaltaisuudet ja ennustaa järjestetyn listan ilman välivaihetta liittyen arvosanojen laskemiseen. Erilaisia suosittelujärjestelmäalgoritmeja on julkaistu lukuisia eri käyttötarkoituksia varten. Yhteisöllisen suodatuksen kontekstissa sijoitusperusteiset menetelmät ovat yleistyneet järjestettyjen listojen tarkkuuden merkityksen kasvaessa. On olemassa useita hybridivariaatioita missä kaksi tai useampi eri suosittelujärjestelmätyyppi on yhdistetty. Näiden suorituskykyä ei voida verrata tässä tutkielmassa käytettyihin algoritmeihin johtuen niiden erilaisesta toteutustavasta. Tämä tutkielma vertaa kolmea erilaista sijoitusperusteista yhteisöllistä suosittelujärjestelmäalgoritmia keskenään, ja vertailee tuloksia perinteisen arvosanaperusteisen algoritmin kanssa. Tulokset osoittavat parannuksen ennustustarkkuudessa sijoitusperusteista algoritmia käytettäessä, verrattuna arvosanaperusteiseen algoritmiin. Lisäksi, tulokset osoittavat sijoitusperusteisten algoritmien kehityksen parannuksen viime vuosina. Pois lukien tieteelliset julkaisut, missä valitut algoritmit ovat esitelty, en löytänyt tutkielmaa, missä algoritmeja olisi vertailtu keskenään. Tarkastelin tuloksia käyttäen kahta eri arviointimenetelmää, joista Mean Average Precision on vähemmän käytetty tämänkaltaisissa tutkimuksissa.

The vast amount of content on internet services, such as e-commerce sites, can cause information overflow, which leads to a bad user experience. Recommender system is technique to support the user’s decision-making by providing predicted suggestions. It is common that user is provided a list of items in user’s preference, e.g. top-10 list of movies. Traditionally, these ranked lists are generated by using rating-based approaches, where ratings are predicted to unknown items which are then calculated to ranked list. Ranking-based approach calculates similarities between users and predicts a ranked list without the middle-step of predicting the ratings first. There is a number of different collaborative filtering (CF) algorithms for different use cases. In a context of CF, ranking-based approaches are becoming more popular as the importance of ranked list accuracy has increased. However, there are several hybrid implementations where two or more different kind of recommender systems are combined, which performance cannot be compared to the algorithms in this thesis due to implementation differences. This thesis will compare three different ranking-based CF algorithms to each other and compare the results with the rating-based CF paradigm. The results will show the prediction accuracy improvement when using ranking-based approaches compared to a rating-based one. In addition, results will also show how much the performance have been improved in ranking-based CF algorithms in the past years. Excluding the research papers where the selected algorithms were introduced, I did not find any research publications where the selected algorithms were compared to each other. I evaluated the results using two different evaluation methods, of which Mean Average Precision is less common in this field of study.