Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

3.2. SCHÄTZER FÜR DISKRETE PROZESSE 35
schwierig. Aus diesem Grund verwende ich eine alternative Herangehensweise,
bei der die Verteilungen der beobachteten Zustände für jede Beobachtung erneut
geschätzt werden. So kann der Erwartungswert einer beliebigen Funktion f
genähert werden, indem über alle Beobachtungen gemittelt wird:
Ê [f] =
∑ (k) ˆP {X i
x (k)
i ∈X k
= x (k)
i
} · f(x (k)
i ) = 1 N
N∑
n=1
f(x (k)
i (n)) .
Für unabhängige Beobachtungen konvergiert, nach dem Gesetz der großen Zahlen,
dieser Schätzer für große N gegen den Erwartungswert von f.
Da es sich bei den Entropien und Informationen ebenfalls um die Berechnung
von Erwartungswerten handelt, führt dies auf die folgenden Schätzern
für Shannon-Entropie, gegenseitige Information, bedingte Shannon-Entropie und
Transferentropie:
und
Ĥ(X i ) = − 1 N
ˆM(X i , Y j ) =
1
N
Ĥ(X i+1 |X (k)
i ) = − 1 N
N∑
log ˆP {X i = x i (n)} , (3.5)
n=1
N∑
log
n=1
N∑
n=1
ˆP {X i = x i (n), Y j = y j (n)}
ˆP {X i = x i (n)} · ˆP {Y j = y j (n)} , (3.6)
log ˆP {X (k+1)
i+1 = x (k+1)
i+1 (n)}
ˆP {X (k)
i
= x (k)
i (n)}
, (3.7)
ˆT (X i+1 |X (k)
i , Y (l)
j )
= 1 N
N∑
log
n=1
ˆP {X (k+1)
i+1 = x (k+1)
i+1 (n), Y (l)
j
ˆP {X (k)
i
= x (k)
i (n), Y (l)
j
= y (l)
j (n)} · ˆP {X (k)
i
= x (k)
i (n)}
= y (l)
j (n)} · ˆP {X (k+1)
i+1 = x (k+1)
i+1 (n)} . (3.8)
Für unabhängige Beobachtungen konvergieren diese Schätzer für große N gegen
die entsprechenden Entropien und Informationen.
Üblicherweise stehen nur endlich viele Beobachtungen zur Verfügung, weshalb
die geschätzten Werte fluktuieren. So hat die gegenseitige Information
bei endlichen Datenmengen einen positiven Bias, da sie nur nichtnegative
Werte besitzt. Für die Shannon-Entropie und für die gegenseitige
Information sind diesbezüglich Korrekturen entwickelt worden, beispielsweise
in [Grassberger (1985), Grassberger (1988), Moddemeijer (1999),
Panzeri & Treves (1996), Roulston (1997)]. Des Weiteren kann unter gewissen
Annahmen der statistische Fehler berechnet werden [Panzeri & Treves (1996),
Roulston (1997), Roulston (1999)]. Diese Annahmen beinhalten, dass der Bias
und die Varianz des Fehlers der einzelnen Entropien in Gl. (2.10) und Gl. (2.27)