Accuracy analysis of uncertain variational problems with analytical and machine learning methods

Abstract

Tässä tutkielmassa verrataan analyyttisien menetelmien ja koneoppimismallien toimivuutta epätarkkuudesta johtuvien virheiden kontrolloinnissa. Tarkasteltavana matemaattisena esimerkkiongelmana käytetään lineaarista variaatio-ongelmaa. Tuloksena havaitaan, että neuroverkot toimivat hyvin ja ovat käytäntöön mahdollisesti soveltuva keino tehdä virhearviointia. Monille osittaisdifferentiaaliyhtälöille on johdettu analyyttisia kontrollointikeinoja viime vuosikymmenien aikana (katso [1], [2]). Ensimmäiset luvut käytämme analyyttisien virhearvioiden todistamiseen tunnettujen analyysin työkalujen avulla tarkasteltavalle variaatio-ongelmalle. Virhearvioita testataan numeerisesti ja huomataan, että vaikka analyyttiset rajat ovat varmoja ja halpoja laskennallisesti, ne ovat monesti toivottua epätarkempia. Tutkielman toisessa osiossa luodaan koneoppimismalleja, joilla pyritään arvioimaan tarkalleen epätarkkuuden aiheuttamaa virhettä. Valittu koneoppimismalli on neuroverkko. Mallien kouluttamiseen käytetty data luodaan itse numeerisilla menetelmillä. Viimeisessä luvussa verrataan analyyttisien metodien ja luotujen neuroverkkojen toimivuutta. Vertailussa käytetään koulutusdatasta eroavaa generoitua dataa jolle lasketaan analyyttiset rajat, numeeriset approksimaatiot ja neuroverkkojen tulokset. Havaitaan, että neuroverkot suoriutuvat tehtävästä niin hyvin, että voidaan sanoa niiden olevan kilpailullisia analyyttisien metodien kanssa. Jos vastaavia koneoppimismalleja pystytään luomaan vaikeammille moniulotteisille ongelmille, tämä menetelmä voi osoittautua varsin hyödylliseksi simuloinnissa ja insinöörityössä.

In this thesis we compare the performance of analytical methods and neural networks trained with numerically produced data in controlling uncertainty errors of a linear variational problem. We find that neural networks perform well and are feasible to use in practical computations in place of analytical control methods. Analytical methods for controlling uncertainty errors have been derived for various differential problems (see [1], [2]) in recent decades. The first chapters are devoted to deriving by known methods analytical error bounds for the linear variational problem which we will study. These error bounds are numerically tested and we find that the bounds while they are guaranteed and cheap to compute are not always as sharp as an engineer might hope. The second part of this thesis consists of creating machine learning models with the goal of approximating the exact error caused by uncertainty in our mathematical model. The chosen type of machine learning model is a deep neural network. The training data used for training the models is generated by numerical computations. In the final chapter we compare the performance of the analytical methods and machine learning models and we conclude that neural networks can be competitive in this task. If such models are made and found to work for more complicated nonlinear PDE’s this method could prove very useful in computer simulations and engineering.