Show simple item record

dc.contributor.authorKorolainen, Valtteri
dc.date.accessioned2014-08-28T05:58:02Z
dc.date.available2014-08-28T05:58:02Z
dc.date.issued2014
dc.identifier.otheroai:jykdok.linneanet.fi:1444778
dc.identifier.urihttps://jyx.jyu.fi/handle/123456789/44127
dc.description.abstractErilaiset kieliteknologiasovellukset ovat olleet jo vuosikymmeniä arkipäiväises-sä käytössä. Esimerkiksi ennustava tekstinsyöttö ja automaattinen korjaus ovat olleet käytössä jo vuosikymmeniä. Puheen tunnistus ja kielen automaattinen kääntäminen ovat puolestaan hieman uudempia sovelluksia. Tieteenalana kieli-teknologia on vuosikymmeniä vanha, mutta silti koneilla on vielä monesti vai-keuksia ymmärtää luonnollisia kieliä. Tämän tutkimuksen tavoite on kartoittaa koneiden kykyä annotoida tekstiä automaattisesti kun käsiteltävä aineisto sisäl-tää slangia. Tutkimus sisältää empiirisen kokeen automaattisten annotointialgo-rimien toiminnasta. Kielen prosessointi on myös nykyään käytössä olevilla al-goritmeilla verrattain raskasta. Osa sovelluksista voidaan kuitenkin suorittaa pilvipalveluissa. Eurooppalaisten kielien prosessointi nykyalgoritmeilla on koh-tuullisen hyvällä tasolla verrattuna moniin muihin kieliin. Tähän syynä on huomattavasti laajempi taustatyö. Vaikka monet sovellukset onnistuisivat usein ymmärtämään luonnollista yleiskieltä, niin slangin prosessointi on huomatta-vasti hankalampaa. Pääsyyt slangin prosessoinnin haasteellisuudelle ovat slan-gitutkimuksen vähäisyys kieliteknologioihin liittyen sekä slangin monesti kompleksisempi luonne. Automaattinen simultaanitulkkaus on jo jossain mää-rin mahdollista nykyaikaisilla kieliteknologiasovelluksilla. Yksi tapa arvioida tiettyä kieliteknologiaa on analysoida taustalla olevaa sanaluokkajäsentäjää, jonka tehtävä on annotoida tekstifragmentteja. Tämän tutkimuksen tutkimus-ongelmana on selvittää n-gram algoritmin suorityskyky muihin käytössä ole-viin algoritmeihin nähden slangia annotoitaessa. Tilastollisia lähestymistapoja käytettäessä myös taustalla oleva manuaalisen jäsentämisen laajuus vaikuttaa merkittävästi sanaluokkajäsentäjän toimintaan. Eurooppalaiset kielet voidaan prosessoida monesti luotettavammin tilastollisilla menetelmillä, kun taas esi-merkiksi Etelä-Intian kielet, kuten Hindi, ovat monesti luotettavampia proses-soida sääntöihin perustuvilla menetelmillä. Englanninkieli voidaan luonnolli-sessa muodossaan annotoida automaattisesti 97% tarkkudella; englanninkieli-sen slangin automaattinen annotointi saavuttaa puolestaan vain 93% tarkkusta-son. Tutkimustuloksista voidaan todeta, että vaikka algoritmin valinta vaikut-taa osaltaan annotoinnin tarkkuuteen, niin sääntöihin perustuvat menetelmät ovat tärkeä lisä slangin annotoinnissa. Tärkein sääntöihin perustuva lisämene-telmä on sanojen klusterointi.fi
dc.description.abstractContemporary computers have different capabilities to process natural lan-guages. For example speech recognition and machine translation are both due to study of natural language processing (NLP). Still, machines have some prob-lems of understanding a natural language since words can be ambiguous. Most of the time machines are able to understand the single words. Complete sen-tences are causing more problems. As well, a part of the actual language proc-essing is moved to cloud from local machines due to heavy algorithms that have a high time or space compelexity. English and other European languages have better success rate in NLP solutions than other languages. Mainly this is because of the amount of work and prior analysis done around the language. Even though variety of different NLP solutions exists, they are mainly focused on standard language. Our research contains empirical study which goal is to describe n-gram algorithm suitability in automatic slang annotation context. Slang processing is more problematic than processing standard language, which can be seen in lower accuracy rates. Some of the problems are caused lack of extensive slang analysis when on the other hand some problems are due to complexity of slang. Simultaneous interpreter is one possible solution of up-coming NLP innovations but it has limitations since slang processing is still partly under a development. One way to analyze lingual capabilities of a ma-chine is to evaluate the success rate of Part-of-Speech (POS) tagging. The re-search problem is how n-gram algorithms are performing in slang tagging compared to previously experimented algorithms. As a result of this study it is been found that tagging algorithm selection is in major part of tagger accuracy. In statistical approaches corpus size is remarkably affecting the accuracy as well. Languages are performing differently with different algorithms. For instance, statistical tagging algorithms are mostly having better accuracies in European languages while rule based tagging algorithms are outperforming statistical taggers in South Indian languages. From the POS tagging point of view English slang can be considered as different language from Standard English. While Standard English text can be automatically tagged with success rate of 97% the slang taggers are only fairly reaching 93% success rate. As a conclusion for re-search findings, rule-based approaches are important addition for slang POS taggers. Most important of these kinds of tools is word clustering.en
dc.format.extent1 verkkoaineisto.
dc.language.isoeng
dc.rightsJulkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.fi
dc.rightsThis publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.en
dc.subject.otherPart-of-Speech tagging
dc.subject.otherHidden-Markov Model
dc.subject.otherNatural Language Processing
dc.subject.otherAlgorithms
dc.subject.otherMachine Learning
dc.subject.otherLanguage Technologies
dc.titlePart-of-speech tagging in written slang
dc.identifier.urnURN:NBN:fi:jyu-201408282684
dc.type.ontasotPro gradufi
dc.type.ontasotMaster's thesisen
dc.contributor.tiedekuntaInformaatioteknologian tiedekuntafi
dc.contributor.tiedekuntaFaculty of Information Technologyen
dc.contributor.laitosTietojenkäsittelytieteiden laitosfi
dc.contributor.laitosDepartment of Computer Science and Information Systemsen
dc.contributor.yliopistoUniversity of Jyväskyläen
dc.contributor.yliopistoJyväskylän yliopistofi
dc.contributor.oppiaineTietojenkäsittelytiedefi
dc.date.updated2014-08-28T05:58:03Z
dc.contributor.oppiainekoodi601
dc.subject.ysokieliteknologia
dc.subject.ysokoneoppiminen
dc.subject.ysoalgoritmit
dc.subject.ysoluonnollinen kieli


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record