A study on the embedding spaces of the BERT language model
Abstract
Tässä työssä käsitellään luonnollisen kielen käsittelynä tunnettua tekoälyn osa-aluetta. Työssä keskitytään niin kutsuttuun transformer-arkkitehtuuriin pohjautuvaan BERT-nimiseen tekoälymalliin. Erityisesti työssä tarkastellaan tämän mallin upotusvektoreita, jotka kuvastavat mallin sisäistä luonnollisen tekstin esitysmuotoa.
This thesis considers a subfield of artificial intelligence called Natural Language Processing (NLP). More specifically we study a language model named BERT based on the so called \emph{transformer} architecture, and the internal language representation of BERT called embedding vectors.
This thesis considers a subfield of artificial intelligence called Natural Language Processing (NLP). More specifically we study a language model named BERT based on the so called \emph{transformer} architecture, and the internal language representation of BERT called embedding vectors.
Main Author
Format
Theses
Master thesis
Published
2024
The permanent address of the publication
https://urn.fi/URN:NBN:fi:jyu-202410296663Use this for linking
Language
English
License
Copyright© The Author(s)