Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ... Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
48 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN wobei jetzt X i = (X i,1 , . . . , X i,d ), ε = (ε 1 , . . . , ε d ) ∈ (R + ) d und x i = (x i,1 , . . . , x i,d ), x i (n) = (x i,1 (n), . . . , x i,d (n)) ∈ R d ist. Dabei ist K j der Kern und ε j die Bandbreite der j-ten Komponente von X i , die alle unterschiedlich gewählt werden können. Sind die K j rechteckige Kerne, dann ist die Summe proportional zur Anzahl der Datenpunkte, die innerhalb einer Entfernung von ε j in jeder Richtung gefunden werden. Erfüllen alle K j die oben gegebenen Bedingungen und ist g Xi zweimal differenzierbar, so ist auch dieser Schätzer punktweise erwartungstreu, ĝ Xi ;ε(x i,1 , . . . , x i,d ) ε 1 ,...,ε d →0 −−−−−−→ g Xi (x i,1 , . . . , x i,d ) , ∀x i ∈ R d , siehe hierzu Anhang A. Zur Berechnung von Shannon-Entropie, gegenseitiger Information und Transferentropie werden zunächst alle benötigten Dichten in den beobachteten Zuständen geschätzt. Anschließend werden die Integrationen in Gl. (2.31), Gl. (2.34) und Gl. (2.41) ausgeführt. Da es sich hierbei um die Berechnung von Erwartungswerten handelt, wird, entsprechend dem Gesetz der großen Zahlen [Bauer (1991), Billingsley (1995)], über alle Beobachtungen gemittelt, siehe auch [Ott (1993)]. Somit sollten die Schätzer sowie Ĥ ε (X i ) = − 1 N ˆM ε (X i , Y j ) = 1 N Ĥ ε (X i+1 |X (k) i ) = − 1 N n=1 N∑ log ĝ Xi ;ε(x i (n)) , (3.34) n=1 N∑ ĝ Xi ,Y log j ;ε(x i (n), y j (n)) ĝ Xi ;ε X (x i (n)) · ĝ Yj ;ε Y (y j (n)) , (3.35) N∑ log n=1 ĝ X (k+1) i+1 ;ε (x(k+1) i+1 (n)) ĝ X (k) i ;ε X (x (k) i (n)) (3.36) ˆT ε (X i+1 |X (k) i , Y (l) = 1 N∑ log N n=1 j ) ĝ (k+1) X i+1 ,Y (l) j ;ε(x(k+1) (x (k) i ĝ X (k) i ,Y (l) j ;ε X,Y i+1 (n), y (l) j (n)) · ĝ X (k) i (x (k) ;ε X i (n)) (n), y (l) j (n)) · ĝ (x (k+1) X (k+1) i+1 ;ε X,X i+1 (n)) (3.37) für große N und kleine ε gegen die entsprechenden Entropien bzw. Informationen konvergieren. Dabei wurden in den beiden letzten Gleichungen die bedingten Dichten unter Ausnutzung von Gl. (2.37) durch einfache ersetzt. Die Bandbreitenvektoren ε X , ε X,X , ε Y , ε X,Y werden aus ε gebildet, indem die entsprechenden Komponenten zu einem neuen Vektor zusammengefasst werden. Für feste Bandbreite ε ist Ĥε(X i ) auch unter dem Namen Cohen-Procaccia-Entropie bekannt (k) [Cohen & Procaccia (1985), Gaspard & Wang (1993)].
3.6. KERNSCHÄTZER FÜR DICHTEN 49 Häufig kann ein Experiment nur einmal beobachtet werden. Wie bereits in Absch. 3.1 erläutert wurde, können aus diesem einen Experiment ω 1 weitere Realisierungen durch Zeitverschiebung geschaffen werden, sofern der (d-dimensionale) Prozess X stationär ist, das heißt es wird x i (n) ≡ X i (ω n ) = X n (ω 1 ) ≡ x n gesetzt. Dementsprechend erfolgt die Mittelung in Gl. (3.30) sowie in Gl. (3.34) – (3.37) nicht mehr über Beobachtungen, sondern über die Zeit. Aufgrund serieller Korrelationen innerhalb der Zeitreihe entsteht allerdings ein Bias, so dass die Kernschätzer im Limes nicht mehr erwartungstreu sind. Diese Problematik wurde bereits im Zusammenhang mit dem Schätzen von fraktalen Dimensionen von Theiler (1986) diskutiert. Deshalb müssen die Kernschätzer diesbezüglich korrigiert werden. Das von Theiler (1986) vorgeschlagene Verfahren besteht darin, in der Summation in Gl. (3.33) all jene Terme auszulassen, die in der Zeit zu nahe am Referenzzeitpunkt liegen. Der hieraus folgende modifizierte Kernschätzer lautet ĝ Xi ;ε(x i ) = 1 α(i, N, w) wobei der Normierungsfaktor durch N∑ n=1 |n−i|>w d∏ j=1 ( ) 1 xi,j − x n,j K j , (3.38) ε j ε j α(i, N, w) = N − min(i + w, N) + max(i − w, 1) − 1 gegeben ist. Das Theiler-Fenster w ist größer oder gleich der Dekorrelationszeit zu setzen, siehe auch [Theiler (1990)]. Für den Kernschätzer ĝ (k) X ist es naheliegend, die Bandbreiten bezüglich i ,Y (l) j ;ε jeder Zeitkomponente von X (k) i gleich ε Y gleich ε X und für jede Zeitkomponente von Y (l) j zu wählen, so dass ε = (ε X , . . . , ε Y , . . .) ist. Wenn die physikalische Natur oder das dynamische Verhalten von X und Y unterschiedlich ist, ist es im Allgemeinen schwierig, a priori eine geeignete Wahl für das Verhältnis von ε X und ε Y zu treffen damit der Kernschätzer schnell konvergiert. Die Kernschätzer haben den Vorteil, dass mit ihnen der Zustandsraum gleichmäßig aufgelöst wird. Des Weiteren sind sie einfach in ein Computerprogramm umzusetzen. Nachteilig ist, dass sie lokal hohe statistische Fehler aufweisen können. Stehen nur endlich viele Datenpunkte zur Verfügung, so werden viele ε-Umgebungen nur wenige oder gar keine Nachbarn beinhalten. Dies führt zu statistischen und systematischen Fehlern. Für Rechteckkerne wurde von Grassberger (1988) eine Korrekturformel für die Shannon-Entropie abgeleitet. In erster Linie wird hierzu der Logarithmus durch die Digamma-Funktion ψ(x) = Γ(x) ′ /Γ(x) mit ψ(0) = 0 ersetzt. Ähnliche Korrekturterme sind auch in [Panzeri & Treves (1996), Moddemeijer (1999), Roulston (1999)] zu finden. Für die gemeinsame Information und die Transferentropie wurden diese Korrekturen zum Beispiel in [Schreiber (2000b)] und [Roulston (1997), Roulston (1999)] auf
- Seite 5 und 6: Inhaltsverzeichnis 1 Einleitung 1 2
- Seite 7 und 8: Kapitel 1 Einleitung Zum Verständn
- Seite 9 und 10: Sobald kontinuierliche Prozesse bet
- Seite 11 und 12: Kapitel 2 Grundlagen der Informatio
- Seite 13 und 14: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 15 und 16: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 17 und 18: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 19 und 20: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 21 und 22: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 23 und 24: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 25 und 26: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 27 und 28: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 29 und 30: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 31 und 32: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 33 und 34: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 35 und 36: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 37 und 38: Kapitel 3 Schätzen von Entropien u
- Seite 39 und 40: 3.1. SCHÄTZEN BEI EINER UND MEHRER
- Seite 41 und 42: 3.2. SCHÄTZER FÜR DISKRETE PROZES
- Seite 43 und 44: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 45 und 46: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 47 und 48: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 49 und 50: 3.4. PARAMETRISCHE VERTEILUNGEN 43
- Seite 51 und 52: 3.5. KONTINUIERLICHES BEISPIEL: AR(
- Seite 53: 3.6. KERNSCHÄTZER FÜR DICHTEN 47
- Seite 57 und 58: 3.6. KERNSCHÄTZER FÜR DICHTEN 51
- Seite 59 und 60: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 61 und 62: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 63 und 64: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 65 und 66: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 67 und 68: Kapitel 4 Exkurs: Dynamische System
- Seite 69 und 70: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 71 und 72: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 73 und 74: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 75 und 76: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 77 und 78: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 79 und 80: Kapitel 5 Punktprozesse 5.1 Definit
- Seite 81 und 82: 5.1. DEFINITION EINES PUNKTPROZESSE
- Seite 83 und 84: 5.2. MOMENTE UND EREIGNISRATEN 77 2
- Seite 85 und 86: 5.3. GEKOPPELTE PUNKTPROZESSE 79 Be
- Seite 87 und 88: 5.3. GEKOPPELTE PUNKTPROZESSE 81 f
- Seite 89 und 90: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 91 und 92: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 93 und 94: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 95 und 96: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 97 und 98: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 99 und 100: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 101 und 102: 5.5. NACHWEIS VON KOPPLUNG MITTELS
- Seite 103 und 104: 5.5. NACHWEIS VON KOPPLUNG MITTELS
48 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN<br />
wobei jetzt X i = (X i,1 , . . . , X i,d ), ε = (ε 1 , . . . , ε d ) ∈ (R + ) d <strong>und</strong> x i =<br />
(x i,1 , . . . , x i,d ), x i (n) = (x i,1 (n), . . . , x i,d (n)) ∈ R d ist. Dabei ist K j der Kern<br />
<strong>und</strong> ε j die Bandbreite der j-ten Komponente <strong>von</strong> X i , die alle unterschiedlich<br />
gewählt werden können. Sind die K j rechteckige Kerne, dann ist die Summe proportional<br />
<strong>zur</strong> Anzahl der Datenpunkte, die innerhalb einer Entfernung <strong>von</strong> ε j in<br />
jeder Richtung gef<strong>und</strong>en werden. Erfüllen alle K j die oben gegebenen Bedingungen<br />
<strong>und</strong> ist g Xi zweimal differenzierbar, so ist auch dieser Schätzer punktweise<br />
erwartungstreu,<br />
ĝ Xi ;ε(x i,1 , . . . , x i,d )<br />
ε 1 ,...,ε d →0<br />
−−−−−−→ g Xi (x i,1 , . . . , x i,d ) , ∀x i ∈ R d ,<br />
siehe hierzu Anhang A.<br />
Zur Berechnung <strong>von</strong> Shannon-Entropie, gegenseitiger Information <strong>und</strong> Transferentropie<br />
werden zunächst alle benötigten Dichten in den beobachteten<br />
Zuständen geschätzt. Anschließend werden die Integrationen in Gl. (2.31),<br />
Gl. (2.34) <strong>und</strong> Gl. (2.41) ausgeführt. Da es sich hierbei um die Berechnung <strong>von</strong><br />
Erwartungswerten handelt, wird, entsprechend dem Gesetz der großen Zahlen<br />
[Bauer (1991), Billingsley (1995)], über alle Beobachtungen gemittelt, siehe auch<br />
[Ott (1993)]. Somit sollten die Schätzer<br />
sowie<br />
Ĥ ε (X i ) = − 1 N<br />
ˆM ε (X i , Y j ) = 1 N<br />
Ĥ ε (X i+1 |X (k)<br />
i ) = − 1 N<br />
n=1<br />
N∑<br />
log ĝ Xi ;ε(x i (n)) , (3.34)<br />
n=1<br />
N∑ ĝ Xi ,Y<br />
log<br />
j ;ε(x i (n), y j (n))<br />
ĝ Xi ;ε X<br />
(x i (n)) · ĝ Yj ;ε Y<br />
(y j (n)) , (3.35)<br />
N∑<br />
log<br />
n=1<br />
ĝ X<br />
(k+1)<br />
i+1 ;ε (x(k+1) i+1 (n))<br />
ĝ X<br />
(k)<br />
i<br />
;ε X<br />
(x (k)<br />
i<br />
(n))<br />
(3.36)<br />
ˆT ε (X i+1 |X (k)<br />
i , Y (l)<br />
= 1 N∑<br />
log<br />
N<br />
n=1<br />
j )<br />
ĝ (k+1) X i+1 ,Y (l)<br />
j ;ε(x(k+1)<br />
(x (k)<br />
i<br />
ĝ X<br />
(k)<br />
i<br />
,Y (l)<br />
j ;ε X,Y<br />
i+1 (n), y (l)<br />
j<br />
(n)) · ĝ X (k)<br />
i<br />
(x (k)<br />
;ε X i<br />
(n))<br />
(n), y (l)<br />
j (n)) · ĝ (x (k+1)<br />
X (k+1)<br />
i+1 ;ε X,X i+1 (n))<br />
(3.37)<br />
für große N <strong>und</strong> kleine ε gegen die entsprechenden Entropien bzw. Informationen<br />
konvergieren. Dabei wurden in den beiden letzten Gleichungen die bedingten<br />
Dichten unter Ausnutzung <strong>von</strong> Gl. (2.37) durch einfache ersetzt. Die Bandbreitenvektoren<br />
ε X , ε X,X , ε Y , ε X,Y werden aus ε gebildet, indem die entsprechenden<br />
Komponenten zu einem neuen Vektor zusammengefasst werden. Für feste Bandbreite<br />
ε ist Ĥε(X i ) auch unter dem Namen Cohen-Procaccia-Entropie bekannt<br />
(k)<br />
[Cohen & Procaccia (1985), Gaspard & Wang (1993)].
Change language