Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ... Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
16 KAPITEL 2. GRUNDLAGEN DER INFORMATIONSTHEORIE kann, wenn X (k+1) i+1 und Y (l) j voneinander unabhängig sind, darauf geschlossen werden, dass X von Y ungekoppelt ist. Dies kann in der Implikation M(X (k+1) i+1 , Y (l) j ) = 0 =⇒ T (X i+1|X (k) i , Y (l) j ) = 0 , (2.23) zwischen der gemeinsamen Information und der Transferentropie zusammen gefasst werden. Der Umkehrschluss ist falsch, so reicht M(X i+1 , Y (l) j ) ≠ 0 oder M(X i+1 , Y j−τ ) ≠ 0, τ = 0, 1, . . . , l − 1 nicht aus, um auf Kopplung schließen zu können. Siehe hierzu auch das Beispiel in Absch. 2.1.3. Demzufolge werden mit stochastisch unabhängig und stochastisch ungekoppelt zwei nicht äquivalente Eigenschaften zwischen stochastischen Prozessen beschrieben. Der Hauptunterschied basiert vor allem darauf, dass bei der stochastischen Kopplung die Abhängigkeit zwischen X i+1 und Y (l) j ohne den Einfluss (Informationsfluss) von Y (l) j auf X i+1 über X (k) i betrachtet wird, siehe Abb. 2.1 für eine schematische Darstellung von Abhängigkeit und Kopplung. Dies wird vor allem durch die Äquivalenz zwischen Transferentropie und bedingter Transferinformation deutlich: T (X i+1 |X (k) i , Y (l) j ) = 0 ⇐⇒ M(X i+1 , Y (l) j wobei die bedingte Transferinformation M(X i+1 , Y (l) j Transinformation genannt, durch M(X i+1 , Y (l) j |X(k) i ) = × log ∑ x (k+1) i+1 ∈X k+1 ∑ |X(k) i ) = 0 , (2.24) |X(k) i ), oft auch bedingte P {X (k+1) i+1 = x (k+1) i+1 , Y (l) j = y (l) y (l) i ∈Y l P {X i+1 = x i+1 , Y (l) j P {X i+1 = x i+1 |X (k) i = x (k) i } · P {Y (l) j definiert ist und die Abhängigkeit von X i+1 und Y (l) j quantifiziert [Jumarie (1990), Palus (1996a)]. X (k) i = y (l) j |X(k) i = x (k) i } j } = y (l) j |X(k) i = x (k) i } (2.25) ohne Korrelationen über Die Äquivalenz in Gl. (2.24) ergibt sich unmittelbar aus Gl. (2.14), da für alle Zustände x i+1 , x (k) i und y (l) i = y (l) i |X (k) i P {X i+1 = x i+1 , Y s (l) i = P {X i+1 = x i+1 , X (k) i = P {X i+1 = x i+1 |X (k) i × P {Y (l) j = x (k) i } · P {X (k) i = x (k) i } = x (k) i , Y (l) j = y (l) j } = x (k) i , Y (l) j = y (l) j } = y (l) j |X(k) i gelten muss. Hieraus folgt für die Übergangsverteilungen P {X i+1 = x i+1 , Y (l) j = P {X i+1 = x i+1 |X (k) i = y (l) j |X(k) i = x (k) i } = x (k) i , Y (l) j = x (k) i } · P {X (k) i = x (k) i } = y (l) j } · P {Y(l) j = y (l) j |X(k) i = x (k) i }
2.1. DISKRETE STOCHASTISCHE PROZESSE 17 und somit Gl. (2.24). Wird P {X i+1 = x i+1 , Y (l) j = y (l) j |X(k) i = x (k) i } in Gl. (2.25) eingesetzt, so erhält man sogar die Gleichheit von Transferentropie und bedingter Transferinformation T (X i+1 |X (k) i , Y (l) ) = M(X i+1 , Y (l) j j |X(k) i ) . (2.26) An dieser Stelle sei noch einmal explizit darauf hingewiesen, dass zur Quantifizierung der Kopplung mittels Transferentropie k mindestens so groß gewählt werden muss, dass jeglicher indirekte Einfluss von Y (l) j auf X i+1 über X (k) i unterbunden ist. Handelt es sich bei X um einen Markov-Prozess m-ter Ordnung, so ist k ≥ m zu wählen. Andernfalls kann die Transferentropie T (X i+1 |X (k) i , Y (l) j ) auch positive Werte liefern, obwohl Y nicht in X koppelt. Auf diese Problematik wird bei der Bestimmung der Kopplungsrichtung zwischen zwei Punktprozessen in dem Beispiel von Absch. 5.5 noch einmal eingegangen. Mit Gl. (2.16) kann die Transferentropie als Summe von Shannon-Entropien umgeschrieben werden: T (X i+1 |X (k) i , Y (l) j ) = H(X (k) i , Y (l) j ) − H(X(k+1) i+1 , Y (l) j ) + H(X(k+1) i+1 ) − H(X (k) i ) . (2.27) Diese Beziehung wird später noch benötigt. Des Weiteren kann sie in eine Summe von gegenseitigen Informationen zerlegt werden: T (X i+1 |X (k) i 2.1.3 Diskretes Beispiel , Y (l) j ) = M(X(k+1) i+1 , Y (l) j ) − M(X(k) i = M(X i+1 , (X (k) i , Y (l) j , Y (l) j ) )) − M(X i+1, X (k) i ) . (2.28) An einem einfachen Beispiel, das einem erlaubt, alle Verteilungen zu berechnen, soll das unterschiedliche Verhalten von gegenseitiger Information und Transferentropie studiert werden. Hierzu werden zwei stationäre Markovprozesse X und Y betrachtet, die nur die Werte 0 oder 1 annehmen, X = Y = {0, 1}. Der Prozess Y ist autonom und wechselt bei jedem Zeitschritt i seinen Zustand: P {Y i+1 = 1|Y i = 0} = P {Y i+1 = 0|Y i = 1} = 1 . Im ungekoppelten Fall (c = 0) macht auch der Prozess X einen Zustandswechsel, allerdings nur mit Wahrscheinlichkeit 1/2, P {X i+1 = 1|X i = 0} = P {X i+1 = 0|X i = 1} = 1/2 . Wird die Kopplung c > 0 eingeschaltet, so soll die Dynamik von X zusätzlich von den Zuständen von Y beeinflusst werden, wobei bei voller Kopplungsstärke (c = 1) X den vorherigen Zustand von Y einnehmen soll, das heißt X synchronisiert
- Seite 1: Nichtlineare Methoden zur Quantifiz
- Seite 5 und 6: Inhaltsverzeichnis 1 Einleitung 1 2
- Seite 7 und 8: Kapitel 1 Einleitung Zum Verständn
- Seite 9 und 10: Sobald kontinuierliche Prozesse bet
- Seite 11 und 12: Kapitel 2 Grundlagen der Informatio
- Seite 13 und 14: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 15 und 16: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 17 und 18: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 19 und 20: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 21: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 25 und 26: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 27 und 28: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 29 und 30: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 31 und 32: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 33 und 34: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 35 und 36: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 37 und 38: Kapitel 3 Schätzen von Entropien u
- Seite 39 und 40: 3.1. SCHÄTZEN BEI EINER UND MEHRER
- Seite 41 und 42: 3.2. SCHÄTZER FÜR DISKRETE PROZES
- Seite 43 und 44: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 45 und 46: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 47 und 48: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 49 und 50: 3.4. PARAMETRISCHE VERTEILUNGEN 43
- Seite 51 und 52: 3.5. KONTINUIERLICHES BEISPIEL: AR(
- Seite 53 und 54: 3.6. KERNSCHÄTZER FÜR DICHTEN 47
- Seite 55 und 56: 3.6. KERNSCHÄTZER FÜR DICHTEN 49
- Seite 57 und 58: 3.6. KERNSCHÄTZER FÜR DICHTEN 51
- Seite 59 und 60: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 61 und 62: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 63 und 64: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 65 und 66: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 67 und 68: Kapitel 4 Exkurs: Dynamische System
- Seite 69 und 70: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 71 und 72: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
2.1. DISKRETE STOCHASTISCHE PROZESSE 17<br />
<strong>und</strong> somit Gl. (2.24). Wird P {X i+1 = x i+1 , Y (l)<br />
j<br />
= y (l)<br />
j |X(k) i<br />
= x (k)<br />
i } in Gl. (2.25)<br />
eingesetzt, so erhält man sogar die Gleichheit <strong>von</strong> Transferentropie <strong>und</strong> bedingter<br />
Transferinformation<br />
T (X i+1 |X (k)<br />
i<br />
, Y (l) ) = M(X i+1 , Y (l)<br />
j<br />
j<br />
|X(k)<br />
i ) . (2.26)<br />
An dieser Stelle sei noch einmal explizit darauf hingewiesen, dass <strong>zur</strong> <strong>Quantifizierung</strong><br />
der Kopplung mittels Transferentropie k mindestens so groß gewählt<br />
werden muss, dass jeglicher indirekte Einfluss <strong>von</strong> Y (l)<br />
j auf X i+1 über X (k)<br />
i unterb<strong>und</strong>en<br />
ist. Handelt es sich bei X um einen Markov-Prozess m-ter Ordnung, so<br />
ist k ≥ m zu wählen. Andernfalls kann die Transferentropie T (X i+1 |X (k)<br />
i , Y (l)<br />
j )<br />
auch positive Werte liefern, obwohl Y nicht in X koppelt. Auf diese Problematik<br />
wird bei der Bestimmung der Kopplungsrichtung zwischen zwei Punktprozessen<br />
in dem Beispiel <strong>von</strong> Absch. 5.5 noch einmal eingegangen.<br />
Mit Gl. (2.16) kann die Transferentropie als Summe <strong>von</strong> Shannon-Entropien<br />
umgeschrieben werden:<br />
T (X i+1 |X (k)<br />
i , Y (l)<br />
j )<br />
= H(X (k)<br />
i<br />
, Y (l)<br />
j ) − H(X(k+1) i+1 , Y (l)<br />
j ) + H(X(k+1) i+1 ) − H(X (k)<br />
i ) . (2.27)<br />
Diese Beziehung wird später noch benötigt. Des Weiteren kann sie in eine Summe<br />
<strong>von</strong> gegenseitigen Informationen zerlegt werden:<br />
T (X i+1 |X (k)<br />
i<br />
2.1.3 Diskretes Beispiel<br />
, Y (l)<br />
j ) = M(X(k+1) i+1 , Y (l)<br />
j ) − M(X(k) i<br />
= M(X i+1 , (X (k)<br />
i , Y (l)<br />
j<br />
, Y (l)<br />
j )<br />
)) − M(X i+1, X (k)<br />
i ) . (2.28)<br />
An einem einfachen Beispiel, das einem erlaubt, alle Verteilungen zu berechnen,<br />
soll das unterschiedliche Verhalten <strong>von</strong> gegenseitiger Information <strong>und</strong> Transferentropie<br />
studiert werden. Hierzu werden zwei stationäre Markovprozesse X <strong>und</strong> Y<br />
betrachtet, die nur die Werte 0 oder 1 annehmen, X = Y = {0, 1}. Der Prozess<br />
Y ist autonom <strong>und</strong> wechselt bei jedem Zeitschritt i seinen Zustand:<br />
P {Y i+1 = 1|Y i = 0} = P {Y i+1 = 0|Y i = 1} = 1 .<br />
Im ungekoppelten Fall (c = 0) macht auch der Prozess X einen Zustandswechsel,<br />
allerdings nur mit Wahrscheinlichkeit 1/2,<br />
P {X i+1 = 1|X i = 0} = P {X i+1 = 0|X i = 1} = 1/2 .<br />
Wird die Kopplung c > 0 eingeschaltet, so soll die Dynamik <strong>von</strong> X zusätzlich <strong>von</strong><br />
den Zuständen <strong>von</strong> Y beeinflusst werden, wobei bei voller Kopplungsstärke (c =<br />
1) X den vorherigen Zustand <strong>von</strong> Y einnehmen soll, das heißt X synchronisiert
Change language