A független komponens analízis és empirikus vizsgálata*

262
1.2.3. Kölcsönös információ
Statisztikai Szemle, 91. évfolyam 3. szám
Kapelner Tamás — Madarász László — Ferenci Tamás
Valószínűségi változók függetlenségének egy másik kiváló mérőszáma lehet a
kölcsönös információ. A /6/ egyenlet jelöléseit használva n darab valószínűségi változó
kölcsönös információja:
n ⎡ ⎤
I ( Y1, Y2,..., Yn) = ⎢∑ H( Yi) ⎥−H(
Y)
,
/13/
⎣i=1 ⎦
ahol Y az összes Y i -t tartalmazó vektor, H ( Y ) pedig Y együttes eloszlásának entrópiája,
definíció szerint:
( )
( )
( ) ( )
H Y = f y , y , …, y log f y , y , …, y dydy d y . /14/
− ∫∫ ∫
supp f Y
Y 1 2 n Y 1 2 n 1 2 n
Látható, hogy függetlenség esetén ez a mérőszám nulla, hiszen ekkor
n
( ) ∑ ( i )
HY = HY.
i=1
Ennek segítségével kifejezhető a /3/ egyenlettel adott transzformációval transzformált
Y i valószínűségi változók kölcsönös információja:
n ⎡ T ⎤
I( Y1, Y2,..., Yn) = ⎢∑H( bi X) ⎥−H(
X)
−logdet
B . /15/
⎣i=1 ⎦
Ez az egyenlet szintén használható egy optimalizációs eljárás költségfüggvénye-
T
ként, amennyiben H ( Yi) = H ( b i X)
és H ( X ) valamilyen becslése rendelkezésünkre
áll, ahogy az a negentrópia meghatározásakor is szükséges volt.
Megjegyzendő, hogy a megközelítés a negentrópián alapuló módszerrel egyenértékű
egyenletekre vezet, sőt az ML-módszerrel való rokonsága is egyszerűen kimutatható
(Hyvärinen–Karhunen–Oja [2001]). Ha ugyanis a /12/ egyenlet jobb oldalán
T
az f i ismeretlen sűrűségfüggvények éppen a megfelelő bix -ek sűrűségfüggvényével
lennének egyenlők, akkor az egyenlet a következő alakot öltené:
i=1
T ( i )
n
1
log L( B) = − ∑H
b x + log det B ,
/16/
T
ennek jobb oldala pedig láthatóan csak egy konstansban különbözik /15/ jobb oldalától.
Az ehhez szükséges feltevés pedig egyáltalán nem légből kapott, hiszen mivel az