A study on the embedding spaces of the BERT language model

Abstract

This thesis considers a subfield of artificial intelligence called Natural Language Processing (NLP). More specifically we study a language model named BERT based on the so called \emph{transformer} architecture, and the internal language representation of BERT called embedding vectors.

Tässä työssä käsitellään luonnollisen kielen käsittelynä tunnettua tekoälyn osa-aluetta. Työssä keskitytään niin kutsuttuun transformer-arkkitehtuuriin pohjautuvaan BERT-nimiseen tekoälymalliin. Erityisesti työssä tarkastellaan tämän mallin upotusvektoreita, jotka kuvastavat mallin sisäistä luonnollisen tekstin esitysmuotoa.