Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä

Abstract

Tämä kandidaatintutkielma on toteutettu kirjallisuuskatsauksena, jossa tutkitaan tarkkaavaisuusmekanismeja neuroverkkokääntämisessä. Tarkoituksena on selvittää, miten tarkkaavaisuusmekanismit ovat kehittyneet vuodesta 2015. Tarkasteltavina osa-alueina ovat käännösten laadun, arkkitehtuuristen erojen ja tehokkuuden kehittyminen. Tulosten perusteella tarkkaavaisuusmekanismieja hyödynnetään laajemmin, ja niiden avulla saadaan entistä parempia käännöksiä. Lisäksi mekanismit ovat monipuolistuneet ja monimutkaistuneet, mutta niitä on mahdollista tehostaa eri keinoin.

This bachelor's thesis is carried out as a literature review and it researches attention mechanisms in neural machine translation. The purpose of this thesis is to find out how attention mechanisms have evolved since 2015. More precisely, this paper concentrates on the progress in translation quality, efficiency and architectural differences. According to the results, attention mechanisms are used more widely within NMT architectures and they have contributed to the improvement in translation quality. Additionally, these mechanisms have become more diverse and complicated, but they can be made more efficient.