Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

32 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
Mit dieser Methode kann auch die Dichte g (k) X
aus den Beobachtungen geschätzt
i
werden. Hierfür muss ψ x für fast jedes x ∈ R d k die Gleichung E [ψ x ] = g (k) X
(x)
i
erfüllten. Folglich kann die zeitliche Entwicklung von Shannon-Entropie, gegenseitiger
Information oder Transferentropie studiert werden, sofern eine ausreichende
Anzahl von Beobachtungen vorliegt.
Ist andererseits nur eine Realisierung X i (ω 0 ) gegeben, so ist es unmöglich ohne
weitere Annahmen über den Prozess die Verteilungen von X zu schätzen. Falls
der Prozess stationär ist, das heißt es gilt
P X(k) i
= P X(k) i+τ ∀τ ∈ Z , (3.1)
kann die in der Zeit verschobene Realisierung i → X i+τ (ω 0 ) als eine weitere Realisierung
von X betrachtet werden, X i (ω τ ) = X i+τ (ω 0 ). Weil diese Realisierungen
aber nicht unabhängig voneinander sind, kann das oben beschriebene Verfahren
zum Schätzen der Verteilungen oder Dichten nicht angewendet werden. Stattdessen
ist eine sehr viel stärkere Eigenschaft als die Stationarität zu fordern, nämlich
die Ergodizität [Billingsley (1965), Walters (1981), Pollicott & Yuri (1998),
Eckmann & Ruelle (1985), Katok & Hasselblatt (1995)]. Die wesentlichste Eigenschaft
ergodischer Prozesse ist, dass der Erwartungswert einer beliebigen integrierbaren
Funktion f bezüglich der Verteilung P (X(k) i des Prozesses berechnet
werden kann, indem über die Zeit gemittelt wird:
1
lim
T →∞ T
T∑
i=1
∫
f(X (k)
i (ω 0 )) =
∫
f(x (k)
1 ) P X(k) (k)
1 (dx 1 ) =
f(X (k)
1 (ω)) P (dω) . (3.2)
Beispielsweise lässt sich die Wahrscheinlichkeit P {X (k)
1 ∈ B} aus Gl. (3.2) berechnen,
indem f gleich der Indikatorfunktion 1 B gesetzt wird. Diese ist definiert
durch 1 B (x) = 1 falls x ∈ B und 0 sonst. Da eine Voraussetzung für Ergodizität
die Stationarität ist, folgt, dass die Entropien und Informationen zeitlich konstant
sind und lediglich von Zeitdifferenzen wie i − j abhängen.
Liegt nur eine Realisierung vor und ist der beobachtete Prozess nicht ergodisch,
so können die Verteilungen nicht geschätzt werden. Resultiert aber dieses
nichtergodische Verhalten beispielsweise aus einem sich langsam veränderlichen
Parameter im System, so kann häufig der Prozess innerhalb eines kleines Zeitfensters
als “lokal” ergodisch angenommen werden. Eine notwendige Voraussetzung
hierfür ist, dass P X(k) i
sich nur langsam ändert: P X(k) i
≈ P X(k) i
+τ für kleine τ. In
diesem Fall können Mittelungen innerhalb eines Zeitfensters um i trotz statistischer
Fehler noch aussagekräftige Werte für beispielsweise gegenseitige Information
oder Transferentropie liefern.
Dies soll an dem in Absch. 2.1.3 vorgestellten Beispiel eines gekoppelten diskreten
Prozesses demonstriert werden. Zu diesem Zweck wird ein zeitabhängiger