Luonnollisen suomen kielen ymmärtäminen koneellisesti
Date
2020Copyright
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Tässä tutkimuksessa selvitettiin, miten luonnollisen kielen ymmärtämiseen rakennetut teknologiat soveltuvat suomen kielen käsittelyyn. Tutkimusosuuksissa selvisi, että vain harvat teknologioista tukevat suomen kieltä. Kielten tukitaso vaikutti perustuvan täysin palveluntarjoajien omaan käsitykseen kielituen laajuudesta.
Teknologioiden isoimmaksi ongelmaksi muodostui suomen kielen kohdalla taivutusmuodossa olevien sanojen käsittely. Teknologiat pystyivät käsittelemään sanoja ainoastaan siinä muodossa, jossa sanat oltiin teknologioille opetettu. Tämä tarkoittaa sitä, että teknologioiden toiminta suomen kielellä vaatisi kattavan opetusdatan, jossa tulisi ottaa tunnistettavien sanojen lisäksi huomioon kaikki sanojen taivutusmuodot. Tutkimuksessa tähän ongelmaan löytyi ratkaisu lemmauksesta, jonka avulla sanat pystyttiin muuttamaan perusmuotoon ennen teknologioiden käsittelyä. This study investigated how technologies built for understanding natural language are applicable to Finnish language processing. The research revealed that only a few technologies support the Finnish language. The level of language support seemed to be based entirely on service providers’ own perception of the scope of language support.
The biggest problem with technologies in the Finnish language was the processing of inflectional forms of words. Technologies could only handle words in the form in which the words were taught to the technologies. This means that the operation of technologies in the Finnish language would require comprehensive instructional data, which should include not only identifiable words but also any possible inflectional form. The study found a solution to this problem in lemmatisation, which allowed words to be transformed into their basic form before the technologies processed them.
Keywords
luonnollisen kielen käsittely luonnollisen kielen ymmärtäminen NLP NLU keskustelubotti entiteetti sanaluokittelu saneistus normalisointi lemmaus stemmaus Dialogflow Wit.ai LUIS Watson Assistant Amazon Lex Recast.ai Rasa Snips suomen kieli neuroverkot koneoppiminen intentio tekoäly luonnollinen kieli
Metadata
Show full item recordCollections
- Pro gradu -tutkielmat [24946]
Related items
Showing items with similar title or keywords.
-
Improving search engine results using different machine learning models and tools
Ambaye, Michael (2020)The aim of this thesis is to provide viable methods that can be used to improve the return position (RP) of a relevant document when a natural language query (NLQ) is applied by a user. For the purpose of demonstration, ... -
Tekoälyn vaikutus työtehtävien muutokseen
Karkulahti, Eemil (2018)Tässä kirjallisuuskatsauksessa tarkastellaan tekoälyn vaikutusta työtehtävien muutokseen. Tekoälyä voidaan hyödyntää jo nyt monin tavoin etenkin rutiininomaisissa ja paljon toistoa sisältävissä työtehtävissä. Samalla ... -
Konvolutionaalisten neuroverkkojen hyödyntäminen automatisoitujen ajoneuvojen kehittämisessä
Hiekkavirta, Jenna (2021)Tekoäly on tällä hetkellä ja tulevaisuudessa merkittävä teknologia, jota pystytään hyödyntämään autonomisessa ajamisessa eri teknologioiden avulla. Tässä kandidaatin tutkielmassa selvitetään sitä, miten konvolutionaalisia ... -
Tekoäly liiketoiminnan ennakoinnissa
Ojansuu, Ilari (2018)Erilaiset liiketoiminnan dataa jalostavat järjestelmät ovat herättäneet mielenkiintoa organisaatioissa. Laaja datan keruu ja mallintaminen mahdollistavat organisaatioiden päätöksenteon siirtymisen entistä enemmän intuitiivisesta ... -
Tekoälyn hyödyntäminen liikenteen hallinnassa ja ennakoinnissa
Huntus, Perttu (2020)Tässä tutkimuksessa tutkitaan tekoälyn hyödyntämistä liikenteen hallinnassa ja ennakoinnissa. Tekoäly on käsitteenä vanha, mutta sen tekniikat ovat kehittyneet valtavasti viime vuosina ja sitä käytetään yhä useammilla ...