Luonnollisen suomen kielen ymmärtäminen koneellisesti

Abstract

Tässä tutkimuksessa selvitettiin, miten luonnollisen kielen ymmärtämiseen rakennetut teknologiat soveltuvat suomen kielen käsittelyyn. Tutkimusosuuksissa selvisi, että vain harvat teknologioista tukevat suomen kieltä. Kielten tukitaso vaikutti perustuvan täysin palveluntarjoajien omaan käsitykseen kielituen laajuudesta.

Teknologioiden isoimmaksi ongelmaksi muodostui suomen kielen kohdalla taivutusmuodossa olevien sanojen käsittely. Teknologiat pystyivät käsittelemään sanoja ainoastaan siinä muodossa, jossa sanat oltiin teknologioille opetettu. Tämä tarkoittaa sitä, että teknologioiden toiminta suomen kielellä vaatisi kattavan opetusdatan, jossa tulisi ottaa tunnistettavien sanojen lisäksi huomioon kaikki sanojen taivutusmuodot. Tutkimuksessa tähän ongelmaan löytyi ratkaisu lemmauksesta, jonka avulla sanat pystyttiin muuttamaan perusmuotoon ennen teknologioiden käsittelyä.

This study investigated how technologies built for understanding natural language are applicable to Finnish language processing. The research revealed that only a few technologies support the Finnish language. The level of language support seemed to be based entirely on service providers’ own perception of the scope of language support.

The biggest problem with technologies in the Finnish language was the processing of inflectional forms of words. Technologies could only handle words in the form in which the words were taught to the technologies. This means that the operation of technologies in the Finnish language would require comprehensive instructional data, which should include not only identifiable words but also any possible inflectional form. The study found a solution to this problem in lemmatisation, which allowed words to be transformed into their basic form before the technologies processed them.