Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

40 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
disjunkte Intervalle aufgeteilt werden. Handelt es sich bei B m,k um ein Intervall
im Bildraum von einer der Komponenten von X i , so gilt
P {X i ∈ Π Xi (I m )} = P {X i ∈ Π Xi (J m1 )} + P {X i ∈ Π Xi (J m2 )} ,
P {Y j ∈ Π Yj (I m )} = P {Y j ∈ Π Yj (J m1 )} = P {Y j ∈ Π Yj (J m2 )} .
Eine analoge Relation erhält man, wenn sich B m,k auf eine Komponente von Y j
bezieht. Für beide Fälle liefern diese Relationen die Gleichung
P {X i ∈ Π Xi (I m )} · P {Y j ∈ Π Yj (I m )}
= P {X i ∈ Π Xi (J m1 )} · P {Y j ∈ Π Yj (J m1 )}
+ P {X i ∈ Π Xi (J m2 )} · P {Y j ∈ Π Yj (J m2 )} .
Hieraus folgt mit der Log-Summen-Ungleichung (2.4), siehe auch Anhang A,
M J (X i , Y j ) − M I (X i , Y j )
=
P {(X i , Y j ) ∈ J m1 }
P {X i ∈ Π Xi (J m1 )} · P {Y j ∈ Π Yj (J m1 )}
P {(X i , Y j ) ∈ J m2 }
+
P {X i ∈ Π Xi (J m2 )} · P {Y j ∈ Π Yj (J m2 )}
P {(X i , Y j ) ∈ I m }
−
P {X i ∈ Π Xi (I m )} · P {Y j ∈ Π Yj (I m )} ≥ 0 , (3.17)
also die monoton steigende Konvergenz der diskretisierten gegenseitigen Information
gegen die kontinuierliche gegenseitige Information für eine verfeinerte Partitionenfolge.
Sind X und Y deterministisch gekoppelt (Y j = f ◦ X i ), so folgt aus Gl. (3.15)
und mit Gl. (2.11), dass M In (X i , f ◦ X i ) wie − log ‖I n ‖ divergiert.
Als Vorbereitung zur Untersuchung des Konvergenzverhaltens der vergröberten
Transferentropie soll zunächst das Verhalten der bedingten Shannon-Entropie
bezüglich Partitionierung betrachtet werden. Hierfür wird der Zustandsraum von
X (k+1)
i+1 partitioniert, wobei (I n ) n∈N wieder eine Partitionenfolge sein soll, deren
Norm für große n verschwindet. Sind die Dichten g (k+1) X
und g (k)
i+1
X
wieder stetig,
i
so ist nach dem Mittelwertsatz
P {X (k)
i
P {X (k+1)
i+1 ∈ I m,n } = g (k+1) X
(˜x (k+1)
i+1 (m, n)) · |I m,n | ,
∈ Π X
(k)
i
i+1
(I m,n )} = g X
(k)
i
(˜x (k)
i
(m, n)) · |Π (k) X
(I m,n )| , (3.18)
i
mit ˜x (k+1)
i+1 (m, n) ∈ I m,n und ˜x (k)
i (m, n) ∈ Π (k) X
(I m,n ). Aus Gl. (2.13) sowie
i
|I m,n | = |Π Xi+1 (I m,n )| · |Π (k) X
(I m,n )| folgt für die diskretisierte Übergangsvertei-
i