Poszt nemlineáris rejtett Poszt nemlineáris rejtett infomax identifikációinfomax identifikáció

Szabó Zoltán, ELTE-IKSzabó Zoltán, ELTE-IKTémavezető: Lőrincz AndrásTémavezető: Lőrincz András

Tavaszi Szél 2008Tavaszi Szél 2008

Probléma-felvetésProbléma-felvetésA számítógép a kamerától pixelekben A számítógép a kamerától pixelekben

kapja az információt. Azt mondjuk, kapja az információt. Azt mondjuk, hogy az információ:hogy az információ:a képen levő tárgyak és személyeka képen levő tárgyak és személyek,,rejtett’’,,rejtett’’

Mikrofonokból kapja több beszélő Mikrofonokból kapja több beszélő kevert hanganyagát. Az egyedi kevert hanganyagát. Az egyedi beszélők hanganyaga és a háttérzaj beszélők hanganyaga és a háttérzaj kevert (rejtett).kevert (rejtett).

Előretekintés – megoldási Előretekintés – megoldási javaslatjavaslat

Független komponens analízis (ICA) + Független komponens analízis (ICA) + társai: koktél parti problématársai: koktél parti probléma

Ha hathatunk a világra (mozgathatjuk Ha hathatunk a világra (mozgathatjuk a kamerát, a mikrofonokat), akkor a kamerát, a mikrofonokat), akkor hogyan maximalizálhatjuk az hogyan maximalizálhatjuk az információnkat?információnkat?

Cél:Cél:2 problémacsalád összefűzése, azaz2 problémacsalád összefűzése, azazrejtett infomax identifikáció, független rejtett infomax identifikáció, független

komponensek + kontroll mellettkomponensek + kontroll mellett

Koktél parti (ICA)Koktél parti (ICA)x=As x=As

ICA megoldás kül. folyamat ICA megoldás kül. folyamat modellekre (dr-i disszertáció és [1-modellekre (dr-i disszertáció és [1-

12] publikációk)12] publikációk)

R-ICA

R-ISA (IID-IPA)

R-AR-IPAR-MA-IPA

R-ARMA-IPA

R-ARIMA-IPA C-ARIMA-IPA

C-ICA

C-ISAR-PNL-ISA

R-PNL-ARMA-IPA

Jelölések:P: process – folyamatS: subspace – altérR: real – valósC: complex – komplexAR: autoregressiveMA: moving average – mozgóátlagPNL: post-nonlinear

Infomax identifikáció (ARX)Infomax identifikáció (ARX)Megfigyelés:Megfigyelés:

s(t+1)=Fs(t)+Bu(t+1)+e(t+1)s(t+1)=Fs(t)+Bu(t+1)+e(t+1)Feltevések:Feltevések:

F,B: ismeretlenF,B: ismeretlene: Gauss zaj, ismeretlen kovariancia e: Gauss zaj, ismeretlen kovariancia

mtx-szalmtx-szalCél: [F,B]/e ,,gyors’’ becslése az u Cél: [F,B]/e ,,gyors’’ becslése az u

kontroll alkalmas megválasztásávalkontroll alkalmas megválasztásával

Infomax identifikáció – folyt.Infomax identifikáció – folyt.Cél formálisan:Cél formálisan:

J(uJ(ut+1t+1):=I(s(t+1),[F,B]|u(t+1),s(t),u(t),…)):=I(s(t+1),[F,B]|u(t+1),s(t),u(t),…) maxmaxu(t+1)u(t+1)UU

Bayesi keretben kezelhető [Póczos 2008]:Bayesi keretben kezelhető [Póczos 2008]:Egyszerű frissítési szabályok: [F,B, cov(e)]-reEgyszerű frissítési szabályok: [F,B, cov(e)]-reMinden időpontban egy QP-t kell megoldani Minden időpontban egy QP-t kell megoldani

u(t+1) megválasztásáhozu(t+1) megválasztásáhozFeltételezés: teljes megfigyelhetőség (s)Feltételezés: teljes megfigyelhetőség (s) IPA: rejtett, de nincs kontrollIPA: rejtett, de nincs kontroll

Rejtett Infomax: Lineáris eset (ARX-Rejtett Infomax: Lineáris eset (ARX-IPA)IPA)

Világ:Világ:s(t+1)=Fs(t)+Bu(t+1)+e(t+1): rejtett állapots(t+1)=Fs(t)+Bu(t+1)+e(t+1): rejtett állapotx(t)=As(t): megfigyelésx(t)=As(t): megfigyelés

Feltevés: e mint ISA-ban (fgtlen Feltevés: e mint ISA-ban (fgtlen kookupacok)kookupacok)

Észrevétel:Észrevétel:x(t+1)=[AFAx(t+1)=[AFA-1-1]x(t)+[AB]u(t+1)+[Ae(t+1)]]x(t)+[AB]u(t+1)+[Ae(t+1)]Ae: közel Gauss d-függő CHTAe: közel Gauss d-függő CHT

Megoldási stratégia: infomax x-re + ISAMegoldási stratégia: infomax x-re + ISA

Rejtett Infomax: PNL eset (PNL-ARX-Rejtett Infomax: PNL eset (PNL-ARX-IPA)IPA)

Világ:Világ: s(t+1)=Fs(t)+Bu(t+1)+e(t+1): rejtett állapots(t+1)=Fs(t)+Bu(t+1)+e(t+1): rejtett állapot x(t)=f[As(t)]: megfigyelésx(t)=f[As(t)]: megfigyelés

Észrevétel:Észrevétel: f eltüntetése után lineáris esetf eltüntetése után lineáris eset As: közel Gauss, ha U ,,kicsi’’.As: közel Gauss, ha U ,,kicsi’’.

Megoldási stratégia (közelítés): Megoldási stratégia (közelítés): ff-1-1 becslése ,,Gausszosító’’ trafóként, majd becslése ,,Gausszosító’’ trafóként, majd lineáris rejtett infomaxlineáris rejtett infomax

Mj: több FMj: több Fii,B,Bjj mtx-ra uígy megy minden mtx-ra uígy megy minden

PNL-ARX-IPA demoPNL-ARX-IPA demo

G

rejtett (e) becsült (ideális esetben)

Becslés jósága: G blokkpermutációs mtx-sága Amari-index (r) [0,1], tökéletes: 0.

: kontrollméret

PNL-ARX-IPA demo (T=50e, PNL-ARX-IPA demo (T=50e, =0.1)=0.1)

megfigyelés (x) x Gausszosítás után

fi G: Hinton-diagram becslés (e)

ÖsszefoglalásÖsszefoglalás Infomax alapú identifikációt, a Infomax alapú identifikációt, a

független folyamatok keresésével független folyamatok keresésével összekapcsoltukösszekapcsoltuk

Szeparációs elv:Szeparációs elv:PNL-ARX-IPA

ARX-IPA: rejtett, lineáris infomax

ARX: teljesen megfigyelhető, lineáris infomax + ISA

Gausszosítás

Hivatkozások (saját) - 1Hivatkozások (saját) - 1 [[11] Szabó, Z., Lőrincz, A.: Complex independent process analysis. ] Szabó, Z., Lőrincz, A.: Complex independent process analysis.

Acta Cybernetica (2007) (benyújtva).Acta Cybernetica (2007) (benyújtva). [[22] Szabó, Z., Póczos, B., Lőrincz, A.: Auto-regressive independent ] Szabó, Z., Póczos, B., Lőrincz, A.: Auto-regressive independent

process analysis without combinatorial efforts. Pattern Analysis process analysis without combinatorial efforts. Pattern Analysis and Applications (2007) (elfogadva).and Applications (2007) (elfogadva).

[[33] Szabó, Z., Póczos, B., Lőrincz, A.: Undercomplete blind ] Szabó, Z., Póczos, B., Lőrincz, A.: Undercomplete blind subspace deconvolution via linear prediction. ECML 2007, LNAI subspace deconvolution via linear prediction. ECML 2007, LNAI 4701, Springer-Verlag, 740-747.4701, Springer-Verlag, 740-747.

[[44] Szabó, Z., Póczos, B., Szirtes, G., Lőrincz, A.: Post nonlinear ] Szabó, Z., Póczos, B., Szirtes, G., Lőrincz, A.: Post nonlinear independent subspace analysis. ICANN 2007. LNCS 4668 - I., independent subspace analysis. ICANN 2007. LNCS 4668 - I., Springer-Verlag, 677-686.Springer-Verlag, 677-686.

[5[5] Póczos, B., Szabó, Z., Kiszlinger, M., Lőrincz, A.: Independent ] Póczos, B., Szabó, Z., Kiszlinger, M., Lőrincz, A.: Independent process analysis without a priori dimensional information. ICA process analysis without a priori dimensional information. ICA 2007. LNCS 4666, Springer-Verlag, 252-259.2007. LNCS 4666, Springer-Verlag, 252-259.

[[66] Szabó, Z., Póczos, B., Lőrincz, A.: Undercomplete blind ] Szabó, Z., Póczos, B., Lőrincz, A.: Undercomplete blind subspace deconvolution. Journal of Machine Learning Research 8 subspace deconvolution. Journal of Machine Learning Research 8 (2007) 1063-1095.(2007) 1063-1095.

Hivatkozások (saját) - 2Hivatkozások (saját) - 2 [[77] Lőrincz, A., Szabó, Z.: Neurally plausible, non-combinatorial ] Lőrincz, A., Szabó, Z.: Neurally plausible, non-combinatorial

iterative independent process analysis. Neurocomputing - Letters iterative independent process analysis. Neurocomputing - Letters 70 (2007) 1569-1573.70 (2007) 1569-1573.

[[88] Szabó, Z., Lőrincz, A.: Independent subspace analysis can cope ] Szabó, Z., Lőrincz, A.: Independent subspace analysis can cope with the curse of dimensionality. Acta Cybernetica 18 (2007) 213-with the curse of dimensionality. Acta Cybernetica 18 (2007) 213-221.221.

[[99] Szabó, Z., Lőrincz, A.: Real and complex independent subspace ] Szabó, Z., Lőrincz, A.: Real and complex independent subspace analysis by generalized variance. ICARN 2006, 85-88.analysis by generalized variance. ICARN 2006, 85-88.

[1[100] Szabó, Z., Póczos, B., Lőrincz, A.: Cross-entropy optimization ] Szabó, Z., Póczos, B., Lőrincz, A.: Cross-entropy optimization for independent process analysis. ICA 2006. LNCS 3889, Springer for independent process analysis. ICA 2006. LNCS 3889, Springer (2006) 909-916.(2006) 909-916.

[1[111] Szabó, Z., Póczos, B., Lőrincz, A.: Separation theorem for K-] Szabó, Z., Póczos, B., Lőrincz, A.: Separation theorem for K-independent subspace analysis with sufficient conditions. independent subspace analysis with sufficient conditions. Tudományos jelentés, Eötvös Loránd Tudományegyetem, Tudományos jelentés, Eötvös Loránd Tudományegyetem, Budapest (2006) http://arxiv.org/abs/math.ST/0608100.Budapest (2006) http://arxiv.org/abs/math.ST/0608100.

[1[122] Szabó, Z.: Separation Principles in Independent Process ] Szabó, Z.: Separation Principles in Independent Process Analysis. Doktori disszertáció, 2008 (benyújtva).Analysis. Doktori disszertáció, 2008 (benyújtva).

Hivatkozások (külső)Hivatkozások (külső) [13] [13] Petrov, V.: Central limit theorem for m-Petrov, V.: Central limit theorem for m-

dependent variables. All-Union Conference on dependent variables. All-Union Conference on Probability Theory and Mathematical Statistics, 38-44, Probability Theory and Mathematical Statistics, 38-44, 1958.1958.

[14] [14] Póczos, B., Lőrincz, A.: D-optimal Bayesian Póczos, B., Lőrincz, A.: D-optimal Bayesian Interrogation for Parameter and Noise Identification of Interrogation for Parameter and Noise Identification of Recurrent Neural Networks. Journal of Machine Recurrent Neural Networks. Journal of Machine Learning Research-be benyújtva, TR: Learning Research-be benyújtva, TR: http://arxiv.org/abs/0801.1883http://arxiv.org/abs/0801.1883

[15] [15] Ziehe, A., Kawanabe, M., Harmeling, S., MZiehe, A., Kawanabe, M., Harmeling, S., Müüller, ller, K.-R.: Blind separation of postnonlinearK.-R.: Blind separation of postnonlinear mixtures mixtures using linearizing transformations and temporal using linearizing transformations and temporal decorrelation.decorrelation. Journal of Machine Learning Research Journal of Machine Learning Research 4(7-8), 1319–1338 (2004)4(7-8), 1319–1338 (2004)