Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

Kapitel 3
Schätzen von Entropien und
Informationen
3.1 Schätzen bei einer und mehreren
Beobachtungen
In der Realität können Experimente nur endlich oft wiederholt werden. Des Weiteren
ist die Zeitauflösung nach unten hin beschränkt. Möchte man die Transferentropie
eines stochastischen Prozesses berechnen, so muss zunächst dessen
Verteilung bzw. dessen Verteilungsdichte aus den N Zuständen x i (n) = X i (ω n ),
n = 1, . . . , N, die in jedem der diskreten Zeitpunkte i = 1, . . . , T beobachtet wurden,
geschätzt werden. Durch die Elemente ω n ∈ Ω, n = 1, . . . , N des Ereignisraums
Ω sind die Realisierungen i → X i (ω n ), also die jeweiligen Wiederholungen
des Experiments gegeben.
Die grundlegende Idee, mit der die Verteilung P X(k) i aus den beobachteten
Zuständen x (k)
i (1), . . . , x (k)
i (N) geschätzt wird, ist folgende: Zunächst wird jeder
beobachtete Zustand x (k)
i (n) = X (k)
i (ω n ) mit einer messbaren Funktion ψ B auf
eine nichtnegative Zahl abgebildet, x (k)
i (n) → ψ B (x (k)
i (n)). Dabei soll der Erwartungswert
von ψ B für jede Ereignismenge B gleich der Wahrscheinlichkeit sein,
mit der X (k)
i in B zu finden ist:
∫
E [ψ B ] = ψ B (x (k)
i ) P X(k) i (x (k)
i ) = P X(k) i (B) .
Sind die Beobachtungen ω 1 , . . . , ω N voneinander unabhängig und gleich verteilt,
dann konvergiert ψ B nach dem Gesetz der großen Zahlen, siehe [Bauer (1991),
Billingsley (1995)], gemittelt über alle Beobachtungen, gegen P X(k) i (B),
1
N
N∑
n=1
ψ B (x (k)
i (n)) −−−→ N→∞
P X(k) i (B) .
31