Newton update based independent vector analysis with various source density models

Abstract

Sokea signaalin käsittely tarkoittaa latenttien lähdesignaalien estimointia havaittujen sekoitesignaalien avulla, kun sekoitusympäristö on tuntematon. Riippumattomien komponenttien analyysi (ICA) on sokean signaalin käsittelyn menetelmä, jolla pyritään estimoimaan todellisia lähdesignaaleja maksimoimalla niiden välinen riippumattomuus. Riippumattomien vektoreiden analyysi (IVA) on ICA:n laajennos, jolla estimoidaan moniulotteisia lähdesignaalivektoreita olettaen, että jokaisen lähdesignaalivektorin komponentit ovat riippuvia toisistaan.

IVA:n tavoitefunktiona käytetään Kullback-Leibler divergenssiä, jota minimoimalla lähdesignaaliestimaattien välinen riippumattomuus maksimoidaan. Minimointia varten täytyy valita optimointimenetelmä sekä lähdesignaaleille sopiva lähdejakaumamalli, jotka määrittävät yhdessä IVA algoritmin suorituskyvyn. Tässä tutkielmassa tarkastellaan neljää algoritmia, joista jokainen perustuu Newtonin menetelmään. Algoritmien lähdejakaumamallit ovat moniulotteinen normaalijakauma (IVA-G), moniulotteinen Laplace-jakauma (IVA-L), moniulotteinen Laplace-jakauma diagonaalisella kovarianssirakenteella (IVA-L-diag) ja moniulotteinen Cauchy-jakauma (IVA-C).

Algoritmeja vertaillaan simulointien avulla useissa eri simulaatioasetelmissa. IVA-L, IVA-L-diag ja IVA-C konvergoivat usein lokaaliin minimiin, mikä ratkaistaan alustamalla IVA-L, IVA-L-diag ja IVA-C algoritmit IVA-G:n ja fastIVA:n tuloksilla. FastIVA on alkuperäinen, ortogonaalisiin palautusmatriiseihin rajoittunut IVA-algoritmi. Alustuksen jälkeen IVA-L on tulosten perusteella paras ja monikäyttöisin algoritmi kaikissa tilanteissa. IVA-G on ylivoimaisesti nopein algoritmi, ja suoriutuu hyvin, kun lähdesignaalit ovat riippuvia enimmäkseen toisen asteen momentista. IVA-L-diag ja IVA-C algoritmit parantavat fastIVA:n tuloksia vain marginaalisesti, mutta ovat varteenotettavia vaihtoehtoja, kun lähdesignaalit ovat riippuvia ainoastaan korkeamman asteen momentista.

IVA algoritmeja sovelletaan sekoitettujen kuvien erotteluun, jossa viisi alkuperäistä värillistä kuvaa pyritään erottelemaan niiden viidestä satunnaista sekoitteesta. Tässä sovelluksessa IVA-L ja IVA-G algoritmit tuottivat kelvollisia tuloksia, mutta IVA-L-diag ja IVA-C algoritmien tulokset eivät olleet tunnistettavissa. Tutkielmassa käytetyt IVA algoritmit sekä niiden suorituskykyyn liittyvät indeksit ovat julkaistu R-paketissa ivaBSS osana tutkielmaa

Blind source separation methods (BSS) are used to estimate latent source signals from their mixed observations when the mixing environment is unknown. Independent component analysis (ICA) is a BSS method, which aims to recover the sources by maximizing the independence between the estimated sources. A more recently developed method, independent vector analysis (IVA), is an extension of ICA to analyse multivariate source signals or multiple datasets jointly. IVA assumes that the source components are dependent on each other between the datasets, which is used to achieve better results than by applying ICA to each dataset separately. IVA uses the Kullback-Leibler divergence as an objective function, which is minimized to achieve as independent source estimates as possible.

To minimize the objective function, the source density models and the optimization method need to be selected. In this thesis, four different algorithms are investigated, each of which is using a Newton update based optimization method. The source density models of the algorithms are the multivariate Gaussian (IVA-G), the multivariate Laplace with any covariance structure (IVA-L), the multivariate Laplace with diagonal covariance structure (IVA-L-diag) and the multivariate Cauchy (IVA-C) distributions.

The algorithms are compared under different situations using simulation studies. IVA-L, IVA-L-diag and IVA-C tend to converge often to local optima, which is avoided by initializing IVA-L, IVA-L-diag and IVA-C with the estimated unmixing matrices of IVA-G and fastIVA. FastIVA is the original IVA algorithm, which restricts the unmixing matrices to be orthogonal. After the initialization, IVA-L becomes the most flexible and consistent algorithm in all setups. IVA-G performs well when the sources are mostly second-order dependent, and is superior in terms of computation time. IVA-L-diag and IVA-C improve the results of fastIVA only marginally, and perform well when the sources are purely higher-order dependent and the number of datasets is significantly higher than the number of sources.

The algorithms are applied to mixed image separation task, where five random mixtures of five colored images are separated. In this application IVA-L and IVA-G algorithms provide sufficient results, but the separated images of IVA-L-diag and IVA-C are not recognizable. The IVA algorithms and their performance indices are implemented in R package ivaBSS as a part of the thesis.