The Impact of Regularization on Convolutional Neural Networks

Abstract

Syvä oppiminen (engl. deep learning) on viime aikoina tullut suosituimmaksi koneoppimisen menetelmäksi. Konvoluutio(hermo)verkko on yksi suosituimmista syvän oppimisen arkkitehtuureista monimutkaisiin ongelmiin kuten kuvien luokitteluun, tunnistukseen ja havaitsemiseen. Syvän oppimisen menetelmien toimivuutta haittaa kuitenkin ylisovittumisongelma. Koska konvoluutioverkot ovat konenäössä tehokkaita, täytyy niiden ylisovittumisen välttämiseksi kehittää uusia menetelmiä. Tämä tutkielma tarjoaa katsauksen lähiaikoina kehitettyihin regularisointimenetelmiin konvoluutioverkkojen ja muiden syvän oppimisen menetelmien tarpeisiin. Tutkielmassa verrataan yleisimmin käytettyjä regularisointimenetelmiä (dropout, batch normalization sekä kernel -regularisointi) kouluttamalla konvoluutioverkko kuvien luokitteluun kahdelle aineistolle (CIFAR-10 ja Kagglen kissa/koira -aineisto). Mallit validoidaan 10-ositetulla ristiinvalidoinnilla. Empiiriset tulokset varmistavat, että dropout-menettely on muihin kokeiltuihin verrattuna vahva tekniikka molempien aineistojen kohdalla

Deep learning has become the most popular class of machine learning family in recent times. Convolutional neural networks is one of the most popular deep learning architecture for solving many complicated and sophisticated problems like image classification, image recognition, and image detection. However, deep learning techniques faces overfitting problems, which is a hindrance to the model performance. Since convolutional neural networks are outperforming in the field of computer vision, so the need for new regularization techniques to reduce overfitting issues in convolutional neural networks is inevitable. This thesis work provides a peek into the recently developed regularization methods particularly for convolutional neural networks and generally for other deep learning techniques. This thesis also showcases the comparison of most commonly used regularization methods (dropout, batch normalization, kernel regularization) by training convolutional neural networks for image classification on two image datasets (CIFAR-10 and Kaggle‘s Cat vs Dog). Each model is cross validated by 10- fold cross validation. Empirical results confirms that dropout is a strong regularization technique as compared to the other two methods( batch normalization and L1 and L2 regularization) on both datasets.