The Impact of Regularization on Convolutional Neural Networks

Syvä oppiminen (engl. deep learning) on viime aikoina tullut suosituimmaksi koneoppimisen menetelmäksi. Konvoluutio(hermo)verkko on yksi suosituimmista syvän oppimisen arkkitehtuureista monimutkaisiin ongelmiin kuten kuvien luokitteluun, tunnistukseen ja havaitsemiseen. Syvän oppimisen menetelmien toimivuutta haittaa kuitenkin ylisovittumisongelma. Koska konvoluutioverkot ovat konenäössä tehokkaita, täytyy niiden ylisovittumisen välttämiseksi kehittää uusia menetelmiä. Tämä tutkielma tarjoaa katsauksen lähiaikoina kehitettyihin regularisointimenetelmiin konvoluutioverkkojen ja muiden syvän oppimisen menetelmien tarpeisiin. Tutkielmassa verrataan yleisimmin käytettyjä regularisointimenetelmiä (dropout, batch normalization sekä kernel -regularisointi) kouluttamalla konvoluutioverkko kuvien luokitteluun kahdelle aineistolle (CIFAR-10 ja Kagglen kissa/koira -aineisto). Mallit validoidaan 10-ositetulla ristiinvalidoinnilla. Empiiriset tulokset varmistavat, että dropout-menettely on muihin kokeiltuihin verrattuna vahva tekniikka molempien aineistojen kohdalla