Singulaariarvohajotelma ja sen sovelluksia data-analytiikassa ja koneoppimisessa

Abstract

Tässä tutkielmassa perehdytään singulaariarvohajotelmaan sekä sen hyödyntämiseen data-analytiikan ja koneoppimisen näkökulmasta. Singulaariarvohajotelma on olemassa mille tahansa matriisille A muodossa A = UΣV^T, missä U ja V ovat ortonormaaleja matriiseja, ja Σ on diagonaalimatriisi. Matriisin Σ diagonaalialkioita kutsutaan matriisin A singulaariarvoiksi, ja ne on järjestetty suuruudeltaan laskevaan järjestykseen.

Singulaariarvohajotelma ja singulaariarvot mahdollistavat erinomaisen menetelmän alkuperäisen matriisin approksimoimiseksi. Matriisilla on aina astettaan r vastaava määrä singulaariarvoja, ja valitsemalla näistä vain k < r suurinta ja asettamalla loput nolliksi saadaan Eckartin ja Youngin lauseen nojalla paras astetta k oleva approksimaatio alkuperäisestä matriisista. Alempiasteisen matriisiapproksimaation hyödyntäminen on laskentatehokkuuden lisäksi myös datan yksinkertaistamisen kannalta houkuttelevaa, etenkin kun kyseessä on approksimaatioista paras.

Visuaalisin esimerkki parhaasta approksimaatiosta alempiasteisella matriisilla ilmenee tarkastelemalla digitaalisia valokuvia. Digikuvat voidaan esittää matriisimuodossa, mikä mahdollistaa singulaariarvohajotelman käytön. Suurimmat singulaariarvot sisältävät pääpiirteet alkuperäisestä kuvasta, ja pienimmät unohdettaessa saadaan alkuperäistä kuvaa muistuttava approksimaatio, joka vie vähemmän tallennustilaa riippuen valittujen singulaariarvojen määrästä. Valittava k vaikuttaa tallennustilan lisäksi kuvanlaatuun.

Kuvanpakkauksen lisäksi singulaariarvohajotelmaa voidaan soveltaa digitaalisissa palveluissa kerättävän tiedon analysoimiseen, jolloin pystytään tuottamaan käyttäjille personoituja suosituksia. Suosittelujärjestelmien perusideana on tarjota mahdollisimman hyviä suosituksia käyttäjän toiminnan, kuten tuotearvostelujen perusteella. Ihmisten tekemiä arvosteluja esimerkiksi elokuvista voidaan käsitellä suurena datamatriisina, jolloin singulaariarvohajotelmaa on mahdollista käyttää.

Suosittelujärjestelmän rakentamisessa puhutaan yleisesti minimointiongelmasta, jossa halutaan etsiä lähimpänä alkuperäistä datamatriisia R oleva matriisi XY, missä X kuvastaa käyttäjäpiirteitä ja Y tässä tapauksessa elokuviin liittyviä piirteitä. Koska kaikki ihmiset eivät arvostele kaikkia elokuvia, täytyy matriisin tyhjät alkiot ensin alustaa, esimerkiksi käyttäjäkohtaisilla keskiarvoilla. Alustamisella on paljon vaikutusta singulaariarvohajotelmalla saataviin approksimaatioihin ja elokuvasuosituksiin. Tyypillisesti suositusten toimivuutta testataan mallin koulutus- eli opetusjoukosta erillisellä testijoukolla, jota ei ole käytetty approksimaation tekemiseen. Approksimaation tarkkuutta voi parantaa lisäämällä alkuperäiseen minimointiongelmaan regularisointitermin, jolloin paras approksimaatio saadaan vähentämällä singulaariarvoista regularisointikerroin γ ≥ 0. Toinen numeerinen tapa on iteroimalla laskea singulaariarvohajotelma useaan kertaan, ja päivittää ainoastaan puuttuneet arvot kullakin iterointikierroksella saatavilla uusilla approksimaatioilla.