Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

36 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
unabhängig voneinander verteilt sind. Dies ist im Allgemeinen aber nicht der Fall.
Außerdem gelten diese Korrekturen nur im Mittel, was dazu führt, dass die gegenseitige
Information und die Transferentropie aufgrund der Korrektur negative
Werte annehmen können. Daher kann es sich im Einzelfall als zweckdienlicher
erweisen, den positiven Bias bewusst beizubehalten.
3.3 Partitionierung des Zustandsraums
Die Berechnung von Entropien bzw. Informationen diskreter oder kontinuierlicher
Prozesse aus Daten ist mit verschiedenen Schwierigkeiten verbunden. So
lassen sich die Wahrscheinlichkeiten von diskreten Zuständen relativ einfach
schätzen, wohingegen das Schätzen von Wahrscheinlichkeitsdichten und insbesondere
Dichten von Übergangsverteilungen nur sehr schwer möglich ist und
im Allgemeinen umfangreiche Datensätze erfordert. Aus diesem Grund sind
viele Verfahren entwickelt worden, bei denen die kontinuierlichen Zufallsvariablen
mit einer entsprechenden Vergröberungsprozedur in diskrete umgewandelt
werden. Anschließend können die Formalismen für diskrete Prozesse angewendet
werden [Grassberger & Procaccia (1983b), Fraser & Swinney (1986),
Cover & Thomas (1991), Gaspard & Wang (1993), Darbellay (1999)]. In diesem
Kapitel sollen die Voraussetzungen, unter denen dieses Vorgehen gerechtfertigt
ist, untersucht werden.
Betrachte die Zufallsvariable X i eines kontinuierlichen stochastischen Prozesses
X, wobei X d-dimensional sei. Aufgrund der Kartesischen Struktur, die
dem euklidischen Raum R d zugrunde liegt, wird der Zustandsraum von X i in
eine abzählbare Anzahl nicht-überlappender Quader I m = B m,1 × . . . × B m,d ,
m = 1, . . . , M ∈ N zerlegt, ∪ M m=1I m = R d bzw. “= Zustandsraum”, siehe Abb. 3.2.
Dabei stellen die B m,j = [a m,j , b m,j ) = {x ∈ R : a m,j ≤ x < b m,j }, j = 1, . . . d
rechts halboffene Intervalle dar. Diese dürfen sich für verschiedene m überlappen,
B m1 ,j ∩ B m2 ,j ≠ ∅, es muss aber stets I m1 ∩ I m2 = ∅ für m 1 ≠ m 2 gelten. Die
Menge aller Quader I = {I m : m ∈ N} heißt Partition des Zustandsraums. Sie
übernimmt hier die Rolle des diskreten Zustandsraums X .
Des Weiteren wird die Norm der Partition ‖I‖ benötigt. Sie wird als die
größte Kantenlänge aller Quader der Partition definiert,
‖I‖ = max
m∈N max
1≤j≤d ∆ m,j , (3.9)
wobei ∆ m,j = |B m,j | = b m,j − a m,j die j-te Kantenlänge von I m , also die Länge
des Intervalls B m,j ist.
Für Konvergenzaussagen bezüglich der gegenseitigen Information müssen
noch Verfeinerungen von Partitionen eingeführt werden. Sind J und I zwei Partitionen,
wobei J aus I gewonnen werden kann, indem genau ein Quader I ˜m ∈ I
in zwei Quader J ˜m1 , J ˜m2 ∈ J mit J ˜m1 ∪ J ˜m2 = I ˜m und J ˜m1 ∩ J ˜m2 = ∅ aufgespalten
wird, dann wird J eine elementare Verfeinerung von I genannt, siehe