Large-scale nonsmooth optimization : variable metric bundle method with limited memory

Abstract

Marjo Haarala kehitti väitöskirjatutkimuksessaan rajoitetun muistin kimppumenetelmän, jota voidaan hyödyntää useilla tieteen ja tekniikan aloilla, kuten muun muassa ultraäänikuvien kuvankäsittelyssä. Uudella menetelmällä voidaan ratkaista suuria epäsileitä optimointitehtäviä ja se soveltuu kuvankäsittelyn lisäksi myös äänenhallintaan liittyvien tehtävien ratkaisemiseen. Näistä esimerkkejä ovat muun muassa tuotantotilojen meluntorjunta sekä konserttisalien akustisten ominaisuuksien parantaminen. Lisäksi menetelmää voidaan hyödyntää laskennallisessa kemiassa: se mahdollistaa esimerkiksi parhaan mahdollisen rakenteen etsimisen, kun suunnitellaan uusia lääkeainemolekyylejä sekä teräksen jatkuvavalun optimoinnin eli jäähdytyksen simuloinnin niin, että muodostuva teräs on mahdollisimman tasalaatuista ja kestävää. Menetelmää voidaan käyttää myös silloin, kun etsitään optimaalista muotoa esimerkiksi laivan rungolle tai lentokoneen siivelle. Yhteistä näille tehtäville on se, että niiden ratkaiseminen perinteisillä optimointimenetelmillä on hankalaa, koska niissä esiintyvät funktiot eivät ole siististi käyttäytyviä.

Many practical optimization problems involve nonsmooth (that is, not necessarily differentiable) functions of hundreds or thousands of variables. In such problems, the direct application of smooth gradient-based methods may lead to a failure due to the nonsmooth nature of the problem. On the other hand, none of the current general nonsmooth optimization methods is efficient in large-scale settings. The motivation of this work is to develop efficient and reliable solvers for large-scale nonsmooth optimization problems.In this thesis, we introduce a new limited memory bundle method for nonsmooth large-scale optimization. The new method is a hybrid of the variable metric bundle method and the limited memory variable metric methods, where the former has been developed for small- and medium-scale nonsmooth optimization and the latter have been developed for large-scale smooth optimization. The new limited memory bundle method aims at filling the gap that exists in the field of nonsmooth optimization with large numbers of variables.Besides describing the new limited memory bundle method in detail, we prove its global convergence for locally Lipschitz continuous objective functions, which are not supposed to be differentiable or convex. In addition, we give some modifications to the basic method in order to improve the accuracy of the method without losing much in its efficiency. The efficiency and reliability of the new method and its modifications are demonstrated with numerical experiments. The problems included in our experiments contain both academic test problems and practical applications arising in the field of nonsmooth large-scale optimization.