Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

34 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
exakten Werte überein. Insbesondere wird das oszillatorische Verhalten beider
Größen richtig wiedergegeben. Für spätere Zeiten werden die Schätzer schlechter
und liefern falsche Werte. In diesem Bereich ist aufgrund der schnelleren Oszillationen
von c(i) das Mittelungsfenster zu groß, so dass hier Ergodizität auch
nicht näherungsweise vorliegt. Um das richtige Verhalten zu rekonstruieren, muss
daher die Fensterbreite reduziert werden, was aber wegen der hieraus hervorgehenden
statistischen Fluktuationen nur bis zu einem bestimmten Grad möglich
ist. Die geschätzten Werte von M(X i , Y i ) und M(Y i+1 , X i ) lieferten ähnliche Werte
wie für M(X i+1 , Y i ). Des Weiteren wurde T (Y i+1 |Y i , X i ) für alle Zeit mit Null
geschätzt, was mit dem Modell übereinstimmt. Zum Abschluss sei noch angemerkt,
dass solch kurze Zeitreihen wie die hier verwendeten üblicherweise nur für
diskrete Prozesse stabile Ergebnisse liefern.
3.2 Schätzer für diskrete Prozesse
Werden die diskreten stochastischen Prozesse X und Y beobachtet, so müssen
zunächst deren Verteilungen rekonstruiert werden, um Entropien und Informationen
berechnen zu können. Angenommen, es liegen N Beobachtungen ω 1 , . . . , ω N ∈
Ω vor, dann können zum Beispiel die Wahrscheinlichkeiten P {X i = x i } aus den
beobachteten Zuständen x i (n) ≡ X i (ω n ) geschätzt werden. Ein einfaches Verfahren
besteht darin, die relative Häufigkeit, mit der der Zustand x i auftritt, zu
ermitteln:
ˆP {X i = x i } = 1 N
N∑
δ(x i , x i (n)) . (3.3)
n=1
Nach dem Gesetz der großen Zahlen (Satz von Etemadi) [Bauer (1991)] konvergiert
(3.3) gegen P {X i = x i } für N → ∞, sofern die Beobachtungen identisch
verteilt und paarweise unabhängig sind. Der entsprechende Schätzer für die
endlich-dimensionalen Randverteilungen lautet
ˆP {X (k)
i
= x (k)
i } = 1 N
N∑
k−1
∏
δ(x i−j , x i−j (n)) . (3.4)
n=1 j=0
Mit den in Gl. (3.3) bzw. (3.4) gegebenen Schätzern kann beispielsweise die
bedingte Shannon-Entropie (2.15) berechnet werden, indem die Wahrscheinlichkeiten
durch die entsprechenden Schätzer ersetzt werden. Hierzu ist zunächst die
bedingte Wahrscheinlichkeit mit Gl. (2.13) auf Randverteilungen umzuschreiben.
Um die Werte der Verteilungsschätzer aus der Zeitreihe zu erhalten sind lediglich
Histogramme für jede benötigte Verteilung zu erstellen.
Das Erstellen von Histogrammen für Markov-Prozesse mit großer Ordnung
erweist sich in der Praxis oft aufgrund des beschänkten Computerspeichers als