Part-of-speech tagging in written slang
Erilaiset kieliteknologiasovellukset ovat olleet jo vuosikymmeniä arkipäiväises-sä käytössä. Esimerkiksi ennustava tekstinsyöttö ja automaattinen korjaus ovat olleet käytössä jo vuosikymmeniä. Puheen tunnistus ja kielen automaattinen kääntäminen ovat puolestaan hieman uudempia sovelluksia. Tieteenalana kieli-teknologia on vuosikymmeniä vanha, mutta silti koneilla on vielä monesti vai-keuksia ymmärtää luonnollisia kieliä. Tämän tutkimuksen tavoite on kartoittaa koneiden kykyä annotoida tekstiä automaattisesti kun käsiteltävä aineisto sisäl-tää slangia. Tutkimus sisältää empiirisen kokeen automaattisten annotointialgo-rimien toiminnasta. Kielen prosessointi on myös nykyään käytössä olevilla al-goritmeilla verrattain raskasta. Osa sovelluksista voidaan kuitenkin suorittaa pilvipalveluissa. Eurooppalaisten kielien prosessointi nykyalgoritmeilla on koh-tuullisen hyvällä tasolla verrattuna moniin muihin kieliin. Tähän syynä on huomattavasti laajempi taustatyö. Vaikka monet sovellukset onnistuisivat usein ymmärtämään luonnollista yleiskieltä, niin slangin prosessointi on huomatta-vasti hankalampaa. Pääsyyt slangin prosessoinnin haasteellisuudelle ovat slan-gitutkimuksen vähäisyys kieliteknologioihin liittyen sekä slangin monesti kompleksisempi luonne. Automaattinen simultaanitulkkaus on jo jossain mää-rin mahdollista nykyaikaisilla kieliteknologiasovelluksilla. Yksi tapa arvioida tiettyä kieliteknologiaa on analysoida taustalla olevaa sanaluokkajäsentäjää, jonka tehtävä on annotoida tekstifragmentteja. Tämän tutkimuksen tutkimus-ongelmana on selvittää n-gram algoritmin suorityskyky muihin käytössä ole-viin algoritmeihin nähden slangia annotoitaessa. Tilastollisia lähestymistapoja käytettäessä myös taustalla oleva manuaalisen jäsentämisen laajuus vaikuttaa merkittävästi sanaluokkajäsentäjän toimintaan. Eurooppalaiset kielet voidaan prosessoida monesti luotettavammin tilastollisilla menetelmillä, kun taas esi-merkiksi Etelä-Intian kielet, kuten Hindi, ovat monesti luotettavampia proses-soida sääntöihin perustuvilla menetelmillä. Englanninkieli voidaan luonnolli-sessa muodossaan annotoida automaattisesti 97% tarkkudella; englanninkieli-sen slangin automaattinen annotointi saavuttaa puolestaan vain 93% tarkkusta-son. Tutkimustuloksista voidaan todeta, että vaikka algoritmin valinta vaikut-taa osaltaan annotoinnin tarkkuuteen, niin sääntöihin perustuvat menetelmät ovat tärkeä lisä slangin annotoinnissa. Tärkein sääntöihin perustuva lisämene-telmä on sanojen klusterointi.
...
Contemporary computers have different capabilities to process natural lan-guages. For example speech recognition and machine translation are both due to study of natural language processing (NLP). Still, machines have some prob-lems of understanding a natural language since words can be ambiguous. Most of the time machines are able to understand the single words. Complete sen-tences are causing more problems. As well, a part of the actual language proc-essing is moved to cloud from local machines due to heavy algorithms that have a high time or space compelexity. English and other European languages have better success rate in NLP solutions than other languages. Mainly this is because of the amount of work and prior analysis done around the language. Even though variety of different NLP solutions exists, they are mainly focused on standard language. Our research contains empirical study which goal is to describe n-gram algorithm suitability in automatic slang annotation context. Slang processing is more problematic than processing standard language, which can be seen in lower accuracy rates. Some of the problems are caused lack of extensive slang analysis when on the other hand some problems are due to complexity of slang. Simultaneous interpreter is one possible solution of up-coming NLP innovations but it has limitations since slang processing is still partly under a development. One way to analyze lingual capabilities of a ma-chine is to evaluate the success rate of Part-of-Speech (POS) tagging. The re-search problem is how n-gram algorithms are performing in slang tagging compared to previously experimented algorithms. As a result of this study it is been found that tagging algorithm selection is in major part of tagger accuracy. In statistical approaches corpus size is remarkably affecting the accuracy as well. Languages are performing differently with different algorithms. For instance, statistical tagging algorithms are mostly having better accuracies in European languages while rule based tagging algorithms are outperforming statistical taggers in South Indian languages. From the POS tagging point of view English slang can be considered as different language from Standard English. While Standard English text can be automatically tagged with success rate of 97% the slang taggers are only fairly reaching 93% success rate. As a conclusion for re-search findings, rule-based approaches are important addition for slang POS taggers. Most important of these kinds of tools is word clustering.
...
Keywords
Metadata
Show full item recordCollections
- Pro gradu -tutkielmat [29116]
Related items
Showing items with similar title or keywords.
-
The Datafication of Hate : Expectations and Challenges in Automated Hate Speech Monitoring
Laaksonen, Salla-Maaria; Haapoja, Jesse; Kinnunen, Teemu; Nelimarkka, Matti; Pöyhtäri, Reeta (Frontiers Media, 2020)Hate speech has been identified as a pressing problem in society and several automated approaches have been designed to detect and prevent it. This paper reports and reflects upon an action research setting consisting of ... -
Multilayer perceptron training with multiobjective memetic optimization
Nieminen, Paavo (University of Jyväskylä, 2016)Machine learning tasks usually come with several mutually conflicting objectives. One example is the simplicity of the learning device contrasted with the accuracy of its performance after learning. Another common example ... -
Do Randomized Algorithms Improve the Efficiency of Minimal Learning Machine?
Linja, Joakim; Hämäläinen, Joonas; Nieminen, Paavo; Kärkkäinen, Tommi (MDPI AG, 2020)Minimal Learning Machine (MLM) is a recently popularized supervised learning method, which is composed of distance-regression and multilateration steps. The computational complexity of MLM is dominated by the solution of ... -
Natural language processing In chatbot development : how does a chatbot process language?
Heikkilä, Arttu (2020)Chatbotit ovat yleistyvä ratkaisu ihmisen ja tietokoneen väliseen vuorovaikutukseen. Tarve rakentaa ylläpidettäviä ja skaalautuvia keskustelevia ratkaisuja on kasvava, mutta ymmärrys perustavanlaatuisista teknologioista ... -
How can algorithms help in segmenting users and customers? : A systematic review and research agenda for algorithmic customer segmentation
Salminen, Joni; Mustak, Mekhail; Sufyan, Muhammad; Jansen, Bernard J. (Palgrave Macmillan, 2023)What algorithm to choose for customer segmentation? Should you use one algorithm or many? How many customer segments should you create? How to evaluate the results? In this research, we carry out a systematic literature ...