Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

42 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
mit (˜x (k+1)
i+1 , ỹ (l)
j )(m, n) ∈ I m,n und (˜x (k)
i , ỹ (l)
j
)(m, n) ∈ Π X (k)
i
(I
,Y (l) m,n ).
j
Als Nächstes werden die Übergangswahrscheinlichkeiten in Gl. (2.21) gemäß
der Relation (2.13) durch die endlich-dimensionalen Verteilungen ersetzt. Einsetzen
von Gl. (3.18) und Gl. (3.22) sowie Mitteln über alle Partitionselemente
liefert dann für die Transferentropie einer Partition
T In (X i+1 |X (k)
i
⎛
× log ⎝ g X (k+1)
M n
, Y (l) ) = ∑
j g (k+1) X
((˜x (k+1)
i+1 ,Y (l)
j
m=1
((˜x (k+1)
i+1 ,Y (l) i+1 , ỹ (l)
j
j
((˜x (k)
i , ỹ (l)
j
g X
(k)
i
,Y (l)
j
i+1 , ỹ (l)
j )(m, n))
)(m, n)) · g X (k)
i
)(m, n)) · g X (k+1)
i+1
⎞
(m, n))
⎠ · |I m,n | . (3.23)
i+1 (m, n))
(˜x (k)
i
(˜x (k+1)
Unter Berücksichtigung der Relation Gl. (2.37) konvergiert T In (X i+1 |X (k)
i , Y (l)
als Riemann-Integral gegen die kontinuierliche Transferentropie,
j )
T In (X i+1 |X (k)
i , Y (l)
j ) n→∞
−−−→
T (X i+1 |X (k)
i , Y (l)
j ) . (3.24)
Im Gegensatz zur gegenseitigen Information muss die Konvergenz der Transferentropie
bei Verfeinerungen nicht monoton sein. Die Ursache liegt darin, dass
die bedingten Wahrscheinlichkeiten (Übergangswahrscheinlichkeiten) nicht additiv
in ihrer Bedingung sind, das heißt P (A|B)+P (A|C) ≠ P (A|B ∪C). Dennoch
wurde bei den bisher studierten Beispielsystemen beobachtet, dass die Transferentropie
in Kopplungsrichtung bei gröberen Partitionierungen größer war, als
die Transferentropie für die Gegenrichtung. Dieses Verhalten hat sich bei weiteren
Verfeinerungen der Partition erst dann geändert, als aufgrund von endlichen
Datenpunkten die Partitionselemente so klein gewählt wurden, dass auf ihnen die
Verteilung nicht mehr geschätzt werden konnte.
Aufgrund der Kartesischen Struktur des zugrundeliegenden Zustandsraums
sind Quader die natürliche Wahl für eine Partitionierung. Werden Elemente mit
einer anderen Form für die Zerlegung verwendet, so erhält man bei den Konvergenzaussagen
einen zusätzlichen geometrischen Faktor.
Die Konvergenzaussagen können weiter abgeschwächt werden. Sie gelten offenbar
auch dann noch, wenn die Dichten bis auf endlich viele Punkte stetig sind.
Diese Konvergenzaussagen können direkt angewendet werden, um die gegenseitige
Information oder Transferentropie aus Daten zu berechnen. In der Praxis
ist dies aber mit numerischen Problemen verbunden. Werden die Quader zu klein
gewählt, so fallen zu wenige Datenpunkte in diese Partitionselemente und die
Verteilungen können nicht mehr zuverlässig geschätzt werden. Folglich wird eine
Konvergenz oft nicht beobachtet.
Bei der einfachsten Implementierung wird der Zustandsraum in gleich
große Quader zerlegt, wobei von einer Partition zur nächsten die Quadergröße
gleichmäßig verkleinert wird. Für inhomogene Verteilungen ist dieses Verfahren