Stokastiset pelit, optimaalinen kontrolli ja osittaisdifferentiaaliyhtälöt

Abstract

Tässä tutkielmassa tutustutaan optimaalisen kontrollin ongelmiin sekä satunnaispeleihin osittaisdifferentiaaliyhtälöiden (ODY:jen) avulla. Tutkielma jakautuu kolmeen osaan, joista ensimmäisessä käsitellään kontrolliteoriaa, sekä etenkin Bellmanin dynaamisen ohjelmoinnin periaatetta (DOP). DOP:n avulla usein monimutkaiset optimointiongelmat voidaan jakaa pienempiin osaongelmiin. Lisäksi DOP:n avulla saadaan näytettyä arvofunktion olevan yksikäsitteinen viskositeettiratkaisu ODY:lle nimeltä HamiltonJacobi-Bellman-yhtälö, joten ODY-teoriaa voidaan soveltaa tietynlaisten kontrolliongelmien ratkaisemiseksi. Toisessa osassa tutustutaan stokastiikan ja ODY:jen yhteyteen satunnaiskävelyn ja Laplacen yhtälön kautta. Ensin todistetaan, että funktio on harmoninen, eli ratkaisu Laplacen yhtälölle, jos ja vain jos se toteuttaa keskiarvoperiaatteen. Tämän jälkeen näytetään, että satunnaiskävelyn arvo tietyssä pisteessä toteuttaa keskiarvoperiaatteen, jolloin saadaan luotua yhteys ODY:jen ja satunnaiskävelyn välille. Tässä tilanteessa keskiarvoperiaate voidaan tulkita ehdollisen odotusarvon kautta. Kolmannessa osassa tarkastellaan satunnaiskohinallista köydenvetopeliä ja p-Laplacen yhtälöä. Köydenvetopelille saadaan rakennettua (p, ε)-harmoninen arvofunktiokandidaatti dynaamisen ohjelmoinnin periaatteen avulla. Kappaleessa saadaan todistettua (p, ε)-harmonisten funktioiden tasaisesti suppenevan jonon rajafunktion olevan yksikäsitteinen viskositeettiratkaisu pLaplacen yhtälölle. Lisäksi Arzelá-Ascolin muunnelmalla päästään todistamaan pelin arvofunktioiden muodostaman jonon suppenevan tasaisesti, kun otetaan raja-arvo ε → 0.