Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ... Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
44 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN für gewöhnlich analytische Ausdrücke für M(X i , Y j ) und T (X i+1 |X (k) i , Y (l) j ) nicht ableitbar. Aber mit den geschätzten Dichten können sie durch numerische Integration bestimmt werden. Eine Ausnahme stellen multivariante Gauß-Prozesse dar, denn für sie lassen sich Shannon-Entropie und gegenseitige Information analytisch berechnen [Prichard & Theiler (1995), Cover & Thomas (1991)]. Sei X ein zentrierter, d-dimensionaler Prozess, das heißt für alle i ∈ Z sind die Erwartungswerte der einzelnen Komponenten von X i Null, E [X i,µ ] = 0, µ = 1, . . . , d. Des Weiteren sei Σ(X i ) die Kovarianzmatrix von X i , deren Elemente durch Σ µ,ν (X i ) = Cov [X i,µ , X i,ν ] = E [X i,µ · X i,ν ] = Σ ν,µ (X i ) gegeben sind. Trivialerweise ist Σ(X i ) symmetrisch. Ist nun X i Gauß-verteilt, so lautet deren Dichte [Bauer (1991), Prichard & Theiler (1995)] g Xi (x) = ( ) 1 √ (2π)d det Σ(X i ) · exp − xT · Ξ(X i ) · x 2 wobei det Σ(X i ) die Determinante und Ξ(X i ) die inverse Matrix von Σ(X i ) ist. x T bezeichnet den transponierten Vektor von x. Wird dies in Gl. (2.31) eingesetzt, so folgt nach einer elementaren Rechnung [Prichard & Theiler (1995), Cover & Thomas (1991)] H(X i ) = d 2 log(2π e) + 1 2 log(det Σ(X i)) . (3.25) e ist hier die Eulersche Zahl. Da nach Gl. (2.45) die kontinuierliche Shannon- Entropie unter der Transformation X i → X i + a, mit a ∈ R d unverändert bleibt, ist Gl. (3.25) auch für nicht-zentrierte Gauß-Prozesse gültig. Offensichtlich ist Gl. (3.25) auch anwendbar, um zum Beispiel H(X (k) i ) zu berechnen, sofern X (k) i Gauß-verteilt ist, denn X (k) i stellt nur eine (k d)-dimensionale Zufallsvariable dar. Mit Gl. (2.16) folgt für die bedingte Shannon-Entropie, sofern X (k+1) i+1 Gaußverteilt ist: H(X i+1 |X (k) i ) = d 2 log(2π e) + 1 2 log(det Σ(X(k+1) i+1 ) det Σ(X (k) i ) ) . (3.26) Ist (X i , Y j ) eine multivariante Gauß-Variable, so folgt mit Gl. (2.10) M(X i , Y j ) = 1 2 log det Σ(X i) · det Σ(Y j ) det Σ(X i , Y j ) , , (3.27) siehe [Prichard & Theiler (1995)]. Entsprechend ist die Transferentropie gemäß Gl. (2.22) durch T (X i+1 |X (k) i , Y (l) j ) = 1 2 det Σ(X(k) i log det Σ(X (k+1) gegeben, falls (X (k+1) i+1 , Y (l) j ) Gauß-verteilt ist. , Y (l) j ) · det Σ(X(k+1) i+1 ) i+1 , Y (l) j ) · det Σ(X(k) i ) , (3.28)
3.5. KONTINUIERLICHES BEISPIEL: AR(1)-PROZESSE 45 3.5 Kontinuierliches Beispiel: AR(1)-Prozesse Analog zum diskreten Beispiel in Absch. 2.1.3 soll hier das Verhalten der kontinuierlichen gegenseitigen Information und der kontinuierlichen Transferentropie für gekoppelte autoregressive Prozesse untersucht werden, wobei Y autonom ist und in X koppelt: X i+1 = α X i + c Y i + η X i+1 , Y i+1 = β Y i + η Y i+1 . (3.29) c ist der Kopplungsparameter. Die Zufallsvariablen ηi X und ηi Y , stellen Gaußsches weißes Rauschen dar und sind normalverteilt, E [ ] [ ] ηi X = E η Y i = 0, E [ ] [ ] ηi X · ηi X = E η Y i · ηi Y = 1. Somit sind alle Verteilungen gaußisch, so dass Gl. (3.27) und Gl. (3.28) angewendet werden können. Des Weiteren ist der Prozess (X, Y ) für große Zeiten stationär, woraus unmittelbar folgt, dass alle Momente zeitunabhängig sind. Dies wiederum erlaubt einem, auf einfachste Weise alle benötigten Kovarianzen zu berechnen. Hierfür ist zunächst das Gleichungssystem Cov [Y i+1 , Y i+1 ] = β 2 Cov [Y i , Y i ] + 1 ≡ Cov [Y i , Y i ] Cov [X i+1 , X i+1 ] = α 2 Cov [X i , X i ] + c 2 Cov [Y i , Y i ] + 2 c α Cov [X i , Y i ] + 1 ≡ Cov [X i , X i ] Cov [X i+1 , Y i+1 ] = α β Cov [X i , Y i ] + c β Cov [Y i , Y i ] ≡ Cov [X i , Y i ] zu lösen, was mit u = (1 − β 2 ), v = (1 − α 2 ) und w = (1 − α β) auf Cov [Y i , Y i ] = 1 u , Cov [X i , Y i ] = c β u w , Cov [X i , X i ] = c 2 1 + α β u v w führt. Hieraus folgen die restlichen Kovarianzen + 1 v Cov [Y i+1 , Y i ] = β Cov [Y i , Y i ] = β u , Cov [Y i+1 , X i ] = β Cov [X i , Y i ] = c β2 u w , Cov [X i+1 , Y i ] = α Cov [X i , Y i ] + c Cov [Y i , Y i ] = c 1 u w , Cov [X i+1 , X i ] = α Cov [X i , X i ] + c Cov [X i , Y i ] = c 2 α + β u v w + α v . Hiermit können die gegenseitige Information und die Transferentropie in beide Richtungen gemäß Gl. (3.27) bzw. Gl. (3.28) berechnet werden. Die Ergebnisse für α = 0.6 und β = 0.5 sind als Funktion des Kopplungsparameters c in
- Seite 1: Nichtlineare Methoden zur Quantifiz
- Seite 5 und 6: Inhaltsverzeichnis 1 Einleitung 1 2
- Seite 7 und 8: Kapitel 1 Einleitung Zum Verständn
- Seite 9 und 10: Sobald kontinuierliche Prozesse bet
- Seite 11 und 12: Kapitel 2 Grundlagen der Informatio
- Seite 13 und 14: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 15 und 16: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 17 und 18: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 19 und 20: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 21 und 22: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 23 und 24: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 25 und 26: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 27 und 28: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 29 und 30: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 31 und 32: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 33 und 34: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 35 und 36: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 37 und 38: Kapitel 3 Schätzen von Entropien u
- Seite 39 und 40: 3.1. SCHÄTZEN BEI EINER UND MEHRER
- Seite 41 und 42: 3.2. SCHÄTZER FÜR DISKRETE PROZES
- Seite 43 und 44: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 45 und 46: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 47 und 48: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 49: 3.4. PARAMETRISCHE VERTEILUNGEN 43
- Seite 53 und 54: 3.6. KERNSCHÄTZER FÜR DICHTEN 47
- Seite 55 und 56: 3.6. KERNSCHÄTZER FÜR DICHTEN 49
- Seite 57 und 58: 3.6. KERNSCHÄTZER FÜR DICHTEN 51
- Seite 59 und 60: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 61 und 62: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 63 und 64: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 65 und 66: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 67 und 68: Kapitel 4 Exkurs: Dynamische System
- Seite 69 und 70: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 71 und 72: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 73 und 74: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 75 und 76: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 77 und 78: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 79 und 80: Kapitel 5 Punktprozesse 5.1 Definit
- Seite 81 und 82: 5.1. DEFINITION EINES PUNKTPROZESSE
- Seite 83 und 84: 5.2. MOMENTE UND EREIGNISRATEN 77 2
- Seite 85 und 86: 5.3. GEKOPPELTE PUNKTPROZESSE 79 Be
- Seite 87 und 88: 5.3. GEKOPPELTE PUNKTPROZESSE 81 f
- Seite 89 und 90: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 91 und 92: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 93 und 94: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 95 und 96: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 97 und 98: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 99 und 100: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
44 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN<br />
für gewöhnlich analytische Ausdrücke für M(X i , Y j ) <strong>und</strong> T (X i+1 |X (k)<br />
i , Y (l)<br />
j ) nicht<br />
ableitbar. Aber mit den geschätzten Dichten können sie durch numerische Integration<br />
bestimmt werden.<br />
Eine Ausnahme stellen multivariante Gauß-Prozesse dar, denn für sie lassen<br />
sich Shannon-Entropie <strong>und</strong> gegenseitige Information analytisch berechnen<br />
[Prichard & Theiler (1995), Cover & Thomas (1991)]. Sei X ein zentrierter,<br />
d-dimensionaler Prozess, das heißt für alle i ∈ Z sind die Erwartungswerte<br />
der einzelnen Komponenten <strong>von</strong> X i Null, E [X i,µ ] = 0, µ = 1, . . . , d.<br />
Des Weiteren sei Σ(X i ) die Kovarianzmatrix <strong>von</strong> X i , deren Elemente durch<br />
Σ µ,ν (X i ) = Cov [X i,µ , X i,ν ] = E [X i,µ · X i,ν ] = Σ ν,µ (X i ) gegeben sind. Trivialerweise<br />
ist Σ(X i ) symmetrisch. Ist nun X i Gauß-verteilt, so lautet deren Dichte<br />
[Bauer (1991), Prichard & Theiler (1995)]<br />
g Xi (x) =<br />
(<br />
)<br />
1<br />
√<br />
(2π)d det Σ(X i ) · exp − xT · Ξ(X i ) · x<br />
2<br />
wobei det Σ(X i ) die Determinante <strong>und</strong> Ξ(X i ) die inverse Matrix <strong>von</strong> Σ(X i ) ist.<br />
x T bezeichnet den transponierten Vektor <strong>von</strong> x.<br />
Wird dies in Gl. (2.31) eingesetzt, so folgt nach einer elementaren Rechnung<br />
[Prichard & Theiler (1995), Cover & Thomas (1991)]<br />
H(X i ) = d 2 log(2π e) + 1 2 log(det Σ(X i)) . (3.25)<br />
e ist hier die Eulersche Zahl. Da nach Gl. (2.45) die kontinuierliche Shannon-<br />
Entropie unter der Transformation X i → X i + a, mit a ∈ R d unverändert bleibt,<br />
ist Gl. (3.25) auch für nicht-zentrierte Gauß-Prozesse gültig. Offensichtlich ist<br />
Gl. (3.25) auch anwendbar, um zum Beispiel H(X (k)<br />
i ) zu berechnen, sofern X (k)<br />
i<br />
Gauß-verteilt ist, denn X (k)<br />
i stellt nur eine (k d)-dimensionale Zufallsvariable dar.<br />
Mit Gl. (2.16) folgt für die bedingte Shannon-Entropie, sofern X (k+1)<br />
i+1 Gaußverteilt<br />
ist:<br />
H(X i+1 |X (k)<br />
i ) = d 2 log(2π e) + 1 2<br />
log(det<br />
Σ(X(k+1) i+1 )<br />
det Σ(X (k)<br />
i ) ) . (3.26)<br />
Ist (X i , Y j ) eine multivariante Gauß-Variable, so folgt mit Gl. (2.10)<br />
M(X i , Y j ) = 1 2 log det Σ(X i) · det Σ(Y j )<br />
det Σ(X i , Y j )<br />
,<br />
, (3.27)<br />
siehe [Prichard & Theiler (1995)]. Entsprechend ist die Transferentropie gemäß<br />
Gl. (2.22) durch<br />
T (X i+1 |X (k)<br />
i<br />
, Y (l)<br />
j ) = 1 2<br />
det Σ(X(k) i<br />
log<br />
det Σ(X (k+1)<br />
gegeben, falls (X (k+1)<br />
i+1 , Y (l)<br />
j ) Gauß-verteilt ist.<br />
, Y (l)<br />
j ) · det Σ(X(k+1) i+1 )<br />
i+1 , Y (l)<br />
j ) · det Σ(X(k) i ) , (3.28)
Change language