Semi-supervised deep learning for the classification of eldercare workers’ sentiments

Abstract

Tekstin luokitteluun on olemassa laaja tutkimuksen kirjo, mutta vain osa siitä on puoliohjattujen syvien neuroverkkojen pohjalta tehtyä – etenkin, kun opetusaineisto on ollut englannin kielellä, tai muulla huomattavan paljon tutkitulla kielellä. Tässä pro gradussa käymme läpi puoliohjattujen syväoppimismenetelmien kirjallisuutta tekstin luokittelussa, ja luomme käytännön toteutuksen kolmelle puoliohjatulle tekstin luokittelumenetelmälle. Nämä menetelmät opetetaan ja testataan pienenpuoleisella, suomenkielisellä aineistolla. Tulosten perusteella voitaisiin sanoa, että puoliohjattujen menetelmien yhteydessä on kannattavaa käyttää regularisointimenetelmiä ylisovittumisen ehkäisemiseksi, varsinkin kun opetusaineisto on pieni. Jotta voitaisiin saada kokonaisvaltaisempi kuva eri puoliohjattujen menetelmien kannattavuudesta ja luotettavuudesta luonnollisen kielen luokittelutehtävässä, olisi suomenkielisistä syväoppimismalleista ja regularisoinnista hyvä tehdä lisää tutkimusta.

There exists extensive research for text classification, but only a handful of it is put into practice by deep neural networks that use semi-supervised learning – especially when semi-supervised deep neural networks are not trained in English, or other majorly studied languages. In this thesis we go through previous literature regarding semi-supervised deep learning methods for text classification, and then build a hands-on solution for three semi-supervised text classification methods. These methods are trained and tested on a small dataset, that is in Finnish. The results suggest that regularization methods should be taken into consideration when using semi-supervised methods for training – particularly when using smaller datasets that easily leads to overfitting. More research on regularization and Finnish deep learning models should be conducted to have a more comprehensive view on the applicability and reliability of text classification in natural language processing.