Show simple item record

dc.contributor.advisorTaskinen, Sara
dc.contributor.advisorKärkkäinen, Salme
dc.contributor.authorYläjärvi, Antti
dc.date.accessioned2023-06-14T10:10:30Z
dc.date.available2023-06-14T10:10:30Z
dc.date.issued2023
dc.identifier.urihttps://jyx.jyu.fi/handle/123456789/87761
dc.description.abstractNeuroverkkojen sovellukset ovat yleistyneet viimeisen kymmenen vuoden aikana. Nykyisin neuroverkkoja sovelletaan useilla aloilla, kuten lääketieteellisessä kuvantamisessa ja diagnostiikassa tai itseohjautuvissa autoissa, joilla ennusteen lisäksi tieto tämän uskottavuudesta voi olla kriittistä. Robustisuus ja epävarmuuden luotettava kvantifiointi on tärkeää myös muilla sovellusaloilla erityisesti, kun datan volyymi voi ajaa virheiden kumulatiiviset kustannukset merkittäviksi. On kuitenkin todettu, ettei esimerkiksi neuroverkkojen ennustamia todennäköisyyksiä voida yleisesti pitää luotettavina mittoina ennusteeseen liittyvälle epävarmuudelle. Neuroverkkojen ennusteen epävarmuuden kvantifioimiseksi ja robustisuuden parantamiseksi on kirjallisuudessa esitetty kymmeniä erilaisia menetelmiä. Yksi tutkimussuunta on neuroverkon ja Gaussisen prosessin yhdistävät menetelmät. Gaussiset prosessit ovat joustavia parametrittomia Bayesiläisiä malleja, jotka voidaan yhdistää neuroverkkoon käytännössä kajoamatta alkuperäiseen malliin tai tämän arkkitehtuuriin. Menetelmien eduksi voidaan lukea ennusteen saaminen piste-estimaatin sijaan jakaumana, mikä mahdollistaa myös varianssin hyödyntämisen epävarmuutta koskevassa päättelyssä. Tässä tutkielmassa esitellään kaksi verrattain uutta kirjallisuudessa esitettyä Gaussisen prosessin ja neuroverkon yhdistävää menetelmää sekä tarkastellaan, voidaanko näillä parantaa Transformer -neuroverkon robustisuutta ja epävarmuuden kvantifioinnin luotettavuutta. Menetelmiä tarkastellaan luonnollisen kielen käsittelyyn liittyvässä tehtävässä, missä neuroverkkona käytetään Googlen tutkijaryhmän kehittämää, Transformer -arkkitehtuuriin perustuvaa, BERT-mallia. Tutkielmassa osoitettiin BERT-mallin olevan verrattain robusti. Mallin suorituskykyä todettiin kuitenkin voitavan parantaa Gaussista prosessia lisäksi soveltamalla. Merkittävimmät hyödyt todettiin poikkeavien havaintojen tunnistamisessa, missä Gaussisella prosessilla ennusteelle saatava varianssi osoittautui selvästi ennustevoimaisimmaksi mitaksi.fi
dc.format.extent61
dc.language.isofi
dc.rightsIn Copyright
dc.subject.otherluonnollisen kielen käsittely
dc.titleTransformer -neuroverkon robustisuuden parantaminen Gaussisen prosessin ja neuroverkon yhdistävillä menetelmillä
dc.identifier.urnURN:NBN:fi:jyu-202306143826
dc.type.ontasotMaster’s thesisen
dc.type.ontasotPro gradu -tutkielmafi
dc.contributor.tiedekuntaMatemaattis-luonnontieteellinen tiedekuntafi
dc.contributor.tiedekuntaFaculty of Sciencesen
dc.contributor.laitosMatematiikan ja tilastotieteen laitosfi
dc.contributor.laitosDepartment of Mathematics and Statisticsen
dc.contributor.yliopistoJyväskylän yliopistofi
dc.contributor.yliopistoUniversity of Jyväskyläen
dc.contributor.oppiaineTilastotiedefi
dc.contributor.oppiaineStatisticsen
dc.rights.copyright© The Author(s)
dc.rights.accesslevelopenAccess
dc.contributor.oppiainekoodi4043
dc.subject.ysoneuroverkot
dc.subject.ysomatematiikka
dc.subject.ysoennusteet
dc.subject.ysogaussiset prosessit
dc.subject.ysoepävarmuus
dc.subject.ysotilastotiede
dc.subject.ysotilastomenetelmät
dc.rights.urlhttps://rightsstatements.org/page/InC/1.0/


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

In Copyright
Except where otherwise noted, this item's license is described as In Copyright