Novel Approaches for Offline Data-Driven Evolutionary Multiobjective Optimization

Abstract

Most multiobjective evolutionary algorithms (MOEAs) assume that analytical functions or simulation models are available while solving a multiobjective optimization problem (MOP). However, in some cases we must start with data and build approximation models known as surrogates that are later used to solve the MOP by an MOEA. These types of problems are called data-driven MOPs. This thesis is devoted to solving so-called offline data-driven MOPs that are particularly challenging as no new data is available during the optimization process. The author first presents approaches to utilize the uncertainty in the prediction of Kriging or Gaussian process (GP) surrogates as additional objectives. However, these approaches increase the complexity of the MOP being solved. Hence, the author proposes probabilistic selection approaches that can be embedded in a decomposition-based MOEA without further analytical derivations. These approaches utilize Monte Carlo sampling and kernel density estimation to calculate the probability of selection criterion of the MOEA and later select individuals based on them. Next, the author proposes an interactive optimization framework that utilizes decision maker’s preferences for uncertainties in addition to preferences for objective values. The framework was further extended to use probabilistic selection approaches for a decomposition-based MOEA and a custom reference vector adaptation technique to consider uncertainty in the solutions during the adaptation process. Building GPs with all the provided data becomes computationally expensive when the size of the data is large. Hence, the author finally proposes treed GP surrogates for multiobjective optimization (TGP-MO). They can be built with a relatively low computational cost and have a good accuracy exclusively in the regions around the optimal solutions. This thesis provides multiple novel approaches and detailed experimental studies for solving offline data-driven MOPs with decision support that will enhance real-world problem-solving capabilities. Keywords: metamodelling, surrogates, Pareto optimality, Kriging, Gaussian processes, evolutionary algorithm, decision making, uncertainty, interactive methods, preference information

Monet monitavoiteoptimointiin kehitetyt evoluutioalgoritmit olettavat, että optimoitavien funktioiden analyyttiset lausekkeet tai simulaatiomallit ovat ratkaisuprosessin aikana käytettävissä. Joissakin tapauksissa lähtökohta kuitenkin on aiemmin kerätty data, johon täytyy ensin sovittaa sijaismalleja. Näitä malleja voidaan sitten käyttää monitavoiteoptimointiongelman muotoilussa ja ratkaisemisessa. Tällaisia ongelmia kutsutaan datapohjaisiksi monitavoiteoptimointiongelmiksi. Tässä väitöskirjassa käsitellään ns. erillisiä datapohjaisia ongelmia, jotka ovat erityisen haastavia. Tässä erillisyys tarkoittaa sitä, ettei uutta dataa ole ratkaisuprosessin aikana saatavilla. Ensin väittelijä esittelee lähestymistapoja, joissa käytetään Kriging- tai Gaussisten prosessien sijaismallien tuottamaa epävarmuustietoa optimoitavina lisäfunktioina. Ne kuitenkin lisäävät ratkaistavan monitavoiteoptimointiongelman kompleksisuutta. Tämän innoittamana väittelijä esittelee todennäköisuuteen perustuvia tapoja, jotka voidaan kätevästi sisällyttää hajotelmapohjaisiin evoluutioalgorimeihin. Tämän lisäksi väittelijä esittelee interaktiivisen optimointikehikon, jossa päätöksentekijä antaa preferenssi-informaatiota optimoitavien funktioiden lisäksi myös epävarmuuksille. Hän keskittyy hajontapohjaisiin evoluutioalgoritmeihin, joissa referenssivektoreita muokataan huomioimaan epävarmuus. Gaussisten prosessien sovittaminen on laskennallisesti raskasta kun dataa on paljon. Tähän haasteeseen väittelijä vastaa lähestymistavalla, joka on laskennallisesti varsin edullinen mutta riittävän tarkka optimaalisten ratkaisujen läheisyydessä. Väitöskirja tarjoaa useita uusia lähestymistapoja ja niiden taustalle yksityiskohtaisia laskennallisia testejä erilliseen datapohjaiseen monitavoiteoptimointiin. Esitellyt päätöksenteon tukimenetelmät auttavat tekemään parempia datapohjaisia päätöksiä ja niitä voidaan soveltaa monilla käytännön sovellusaloilla. Avainsanat: metamallinnus, sijaismallit, Pareto-optimaalisuus, Kriging, Gaussiset prosessit, evoluutioalgoritmit, päätöksenteko, epävarmuus, interaktiiviset menetelmät, preferenssi-informaatio