Attention-based neural machine translation : a systematic mapping study

Abstract

Neuroverkkokonekääntäminen on kasvava konekääntämisen erityisala. Tällä hetkellä suosituin neuroverkkokääntämistekniikka lienee kiintopisteneuroverkkokääntäminen (engl. Attentional Neural Machine Translation, suomennos oma), jossa neuroverkko kiinnittää huomiota käännettävän lauseen tiettyihin osiin vähentäen näin verkon kuormitusta. Tämä pro gradu -tutkielma on kirjallisuuskartoitus kiintopisteneuroverkkokääntämisestä, jossa tehdään läpileikkaus käytetyimmistä neuroverkon ominaisuuksista sekä käännösten laadusta. Erityishuomion kohteena on tunnettu kehityskohde, pienen aineiston kielet (engl. low-resource languages), eli kielet, joille on tarjolla vain verrattain pienikokoisia rinnakkaiskorpuksia eli kieliaineistoja. Tutkielman tulosten perusteella kiintopisteneuroverkkokääntäminen on tehokasta ja tuottaa sujuvia käännöksiä. Kokonaisuutena tämä kirjallisuuskartoitus tuottaa uutta kiinnostavaa tietoa neuroverkkokonekääntämisen tutkimuksen nykytilasta sekä luo pohjan erilaisille mielenkiintoisille jatkotutkimusaiheille.

Neural machine translation (NMT) is an emerging field of study in machine translation. The leading model for doing neural machine translation seems to be attention-based NMT, in which a part of the source sequence is selected and paid attention to in order to reduce the burden of the encoder. The present thesis is a literature mapping of attentional NMT. The study provides a crosscut of current research in attentional NMT, going over the most popular network features as well as translation quality. Special attention is given to a known problem area, translation of low-resource languages, i.e., languages with only small parallel corpora available. Judging by the papers reviewed, attentional NMT is efficient and produces fluent translation. As a whole, this mapping study produces new and valuable information about the state of research in NMT and provides foundation for different interesting topics for further research.