Syväoppimisen laskennallinen vaativuus

Abstract

Syväoppiminen on maailmanlaajuisesti käytössä oleva teknologia, jota hyödynnetään yhä etenevässä määrin eri aloilla. Tässä kandidaatintutkielmassa selvitetään mikä on syväoppimisen laskennallinen vaativuus. Tutkielmassa avataan syväoppimisen käsitteistöä sekä laskennallisen vaativuuden teoriaa. Syväoppiminen on koneoppimisen alalaji, jossa jäljitellään ihmisaivojen neuronien toimintaperiaatteita. Tutkielma antaa pohjaa neuroverk- kojen optimoinnin tutkimuksiin. Lähdekirjallisuus on kerätty pääosin tuoreista alan kunnioitetuista julkaisuista ja tutkielma on toteutettu kirjallisuuskatsauksena. Tutkielmassa on esitetty yksi mahdollinen esitys konvoluutionaalisen neuroverkon laskennalliselle vaativuudelle. Muisti- sekä aikavaativuus konvoluutionaaliselle neuroverkolle on esitetty käyttäen "iso O-notaatiota". Aikavaativuudelle löydettiin yksi notaatio, mutta muistivaativuus on kahdelle eri kerrokselle eli konvoluutio- sekä lajittelukerrokselle.

Deep learning is a technology which is increasingly being used in different sectors worldwide. In this bachelor’s thesis the subject is to find out what the computational complexity for deep learning is. The thesis discusses the concepts of deep learning and so- me theory of computational complexity. Deep learning is a subset of machine learning that exploits the operating principles of neurons in the human brain. This thesis provides a basis for research into the optimization of neural networks. The references for this thesis has been collected mainly form recent reputable publications of the field and the thesis has been conducted as a literature review. The thesis presents one possible representation of the computational complexity of a convolutional neural network (CNN). The time and space complexity for a CNN is represented using "Big O notation". Complexities for CNN were presented using multiple notations. Time complexity was presented using only one notation, but space complexity has two diffrent notations, one for convolutional layer and the other for fully connected layer.