Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ... Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...
38 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN treffen ist, gegeben durch P X i (I m,n ) ≡ P {X i ∈ I m,n } = ∫ I m,n g Xi (x) dx . Da g Xi stetig ist, existiert nach dem Mittelwertsatz ein ˜x(m, n) ∈ I m,n , so dass ∫ P {X i ∈ I m,n } = g Xi (˜x(m, n)) · dx = g Xi (˜x(m, n)) · |I m,n | (3.10) I m,n gilt. Hier ist |I m,n | = ∫ I m,n dx das Volumen von I m,n . Einsetzen dieser Wahrscheinlichkeiten in Gl. (2.2) und Mitteln über alle Partitionselemente (Quader) liefert die diskretisierte Shannon-Entropie bezüglich der Partition I n H In (X i ) = − ∑M n m=1 g Xi (˜x(m, n)) log (g Xi (˜x(m, n))) · |I m,n | − ∑M n m=1 g Xi (˜x(m, n)) log |I m,n | · |I m,n | . (3.11) Da die Riemann-Integrierbarkeit von g Xi · log g Xi vorausgesetzt wurde, folgt, dass der erste Summand für n → ∞ gegen die kontinuierliche Shannon-Entropie konvergiert. Somit erhält man die Konvergenzaussage H In (X i ) + ∑M n m=1 g Xi (˜x(m, n)) log |I m,n | · |I m,n | n→∞ −−−→ H(X i ) , (3.12) das heißt die kontinuierliche Shannon-Entropie und die diskretisierten Shannon- Entropien der Partitionenfolge unterscheiden sich im Limes um den Erwartungswert der logarithmierten Quadervolumina dieser Partitionen. Für den Spezialfall, dass als Partitionelemente Würfel mit gleicher Kantenlänge ε n gewählt werden, also |I m,n | = ε d n , liefert dies die Konvergenzaussage H In (X i ) + d · log ε n n→∞ −−−→ H(X i ) . Dementsprechend divergiert die diskretisierte Shannon-Entropie H In (X i ) wie −d log ε n für n → ∞, das heißt die Divergenz wird von der Skala ε n der Messauflösung bestimmt. Ist beispielsweise X i auf dem Intervall [0, 1) gleichverteilt (g Xi (x) = 1 falls x ∈ [0, 1) und 0 sonst), so ist die Shannon-Entropie H(X i ) = 0. Wird der Zustandsraum bei der n-ten Partition in n gleich große Intervalle zerlegt (ε n = 1/n), so erhält man für die diskretisierte Shannon-Entropie H In (X i ) = log n. Sie divergiert also logarithmisch mit der Anzahl der Partitionselemente.
3.3. PARTITIONIERUNG DES ZUSTANDSRAUMS 39 Um Konvergenzaussagen über die vergröberte gegenseitige Information machen zu können, muss auch hier vorausgesetzt werden, dass g Xi ,Y j · log(g Xi ,Y j /g Xi g Yj ) Riemann-integrierbar ist und dass die Dichten g Xi ,Y j , g Xi sowie g Yj stetig sind. Diesmal wird der Zustandsraum von (X i , Y j ) partitioniert, wobei auch hier wieder (I n ) n∈N eine Folge von Partitionen mit ‖I n ‖ → 0 für n → ∞ ist. Mit dem Mittelwertsatz lassen sich die Wahrscheinlichkeiten, mit denen der Prozess in dem Quader I n anzutreffen ist, durch die Dichten ausdrücken: P {(X i , Y j ) ∈ I m,n } = g Xi ,Y j ((˜x, ỹ)(m, n)) · |I m,n | , P {X i ∈ Π Xi (I m,n )} = g Xi (˜x(m, n)) · |Π Xi (I m,n )| , (3.13) P {Y j ∈ Π Xi (I m,n )} = g Yj (ỹ(m, n)) · |Π Yj (I m,n )| , wobei Π Xi und Π Yj Projektoren sind, die (X i , Y j ) auf X i bzw. Y j abbilden. Auch hier sind (˜x, ỹ)(m, n) ∈ I m,n , ˜x(m, n) ∈ Π Xi (I m,n ) und ỹ(m, n) ∈ Π Yj (I m,n ). Werden diese Wahrscheinlichkeiten in Gl. (2.9) eingesetzt und wird berücksichtigt, dass für die Quadervolumina nach dem Satz von Fubini |I m,n | = |Π Xi (I m,n ) × Π Yj (I m,n )| = |Π Xi (I m,n )| · |Π Yj (I m,n )| gilt, so erhält man für die gegenseitige Information bezüglich I n M In (X i , Y j ) = ∑M n m=1 g Xi ,Y j (˜x(m, n), ỹ(m, n)) × log g X i ,Y j (˜x(m, n), ỹ(m, n)) g Xi (˜x(m, n)) · g Yj (ỹ(m, n)) · |I m,n| . (3.14) Da die kontinuierliche gegenseitige Information als Riemann-Integral existieren soll, folgt unmittelbar M In (X i , Y j ) n→∞ −−−→ M(X i , Y j ) . (3.15) Handelt es sich bei (I n ) n∈N um eine Folge verfeinerter Partitionen, so ist diese Konvergenz sogar monoton steigend, denn es gilt I n+1 ≺ I n =⇒ M In+1 (X i , Y j ) ≥ M In (X i , Y j ) , (3.16) wie Darbellay (1999) zeigte. Ein alternativer Beweis für diese Aussage soll im Folgenden vorgestellt werden. Da jede Verfeinerung einer Partition gewonnen werden kann, indem eine endliche Anzahl von elementaren Verfeinerungen hintereinander ausgeführt wird, reicht es aus, wenn M J (X i , Y j ) ≥ M I (X i , Y j ) für jede elementare Verfeinerung J von I gezeigt wird. J soll hierbei aus I hervorgehen, indem der Quader I m ∈ I in die Quader J m1 , J m2 ∈ J , mit J m1 ∩ J m2 = ∅ und J m1 ∪ J m2 = I m zerlegt wird. Dafür muss genau ein Intervall B m,k , das die k-te Kante von I m darstellt, in zwei
- Seite 1: Nichtlineare Methoden zur Quantifiz
- Seite 5 und 6: Inhaltsverzeichnis 1 Einleitung 1 2
- Seite 7 und 8: Kapitel 1 Einleitung Zum Verständn
- Seite 9 und 10: Sobald kontinuierliche Prozesse bet
- Seite 11 und 12: Kapitel 2 Grundlagen der Informatio
- Seite 13 und 14: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 15 und 16: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 17 und 18: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 19 und 20: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 21 und 22: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 23 und 24: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 25 und 26: 2.1. DISKRETE STOCHASTISCHE PROZESS
- Seite 27 und 28: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 29 und 30: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 31 und 32: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 33 und 34: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 35 und 36: 2.2. KONTINUIERLICHE STOCHASTISCHE
- Seite 37 und 38: Kapitel 3 Schätzen von Entropien u
- Seite 39 und 40: 3.1. SCHÄTZEN BEI EINER UND MEHRER
- Seite 41 und 42: 3.2. SCHÄTZER FÜR DISKRETE PROZES
- Seite 43: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 47 und 48: 3.3. PARTITIONIERUNG DES ZUSTANDSRA
- Seite 49 und 50: 3.4. PARAMETRISCHE VERTEILUNGEN 43
- Seite 51 und 52: 3.5. KONTINUIERLICHES BEISPIEL: AR(
- Seite 53 und 54: 3.6. KERNSCHÄTZER FÜR DICHTEN 47
- Seite 55 und 56: 3.6. KERNSCHÄTZER FÜR DICHTEN 49
- Seite 57 und 58: 3.6. KERNSCHÄTZER FÜR DICHTEN 51
- Seite 59 und 60: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 61 und 62: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 63 und 64: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 65 und 66: 3.7. RÄUMLICHE ABHÄNGIGKEIT DES W
- Seite 67 und 68: Kapitel 4 Exkurs: Dynamische System
- Seite 69 und 70: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 71 und 72: 4.1. ENTROPIE EINES DYNAMISCHEN SYS
- Seite 73 und 74: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 75 und 76: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 77 und 78: 4.2. INTERDEPENDENZ, VERALLGEMEINER
- Seite 79 und 80: Kapitel 5 Punktprozesse 5.1 Definit
- Seite 81 und 82: 5.1. DEFINITION EINES PUNKTPROZESSE
- Seite 83 und 84: 5.2. MOMENTE UND EREIGNISRATEN 77 2
- Seite 85 und 86: 5.3. GEKOPPELTE PUNKTPROZESSE 79 Be
- Seite 87 und 88: 5.3. GEKOPPELTE PUNKTPROZESSE 81 f
- Seite 89 und 90: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 91 und 92: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
- Seite 93 und 94: 5.4. NACHWEIS VON ABHÄNGIGKEITEN M
3.3. PARTITIONIERUNG DES ZUSTANDSRAUMS 39<br />
Um Konvergenzaussagen über die vergröberte gegenseitige Information<br />
machen zu können, muss auch hier vorausgesetzt werden, dass g Xi ,Y j<br />
·<br />
log(g Xi ,Y j<br />
/g Xi g Yj ) Riemann-integrierbar ist <strong>und</strong> dass die Dichten g Xi ,Y j<br />
, g Xi sowie<br />
g Yj stetig sind. Diesmal wird der Zustandsraum <strong>von</strong> (X i , Y j ) partitioniert, wobei<br />
auch hier wieder (I n ) n∈N eine Folge <strong>von</strong> Partitionen mit ‖I n ‖ → 0 für n → ∞<br />
ist. Mit dem Mittelwertsatz lassen sich die Wahrscheinlichkeiten, mit denen der<br />
Prozess in dem Quader I n anzutreffen ist, durch die Dichten ausdrücken:<br />
P {(X i , Y j ) ∈ I m,n } = g Xi ,Y j<br />
((˜x, ỹ)(m, n)) · |I m,n | ,<br />
P {X i ∈ Π Xi (I m,n )} = g Xi (˜x(m, n)) · |Π Xi (I m,n )| , (3.13)<br />
P {Y j ∈ Π Xi (I m,n )} = g Yj (ỹ(m, n)) · |Π Yj (I m,n )| ,<br />
wobei Π Xi <strong>und</strong> Π Yj Projektoren sind, die (X i , Y j ) auf X i bzw. Y j abbilden. Auch<br />
hier sind (˜x, ỹ)(m, n) ∈ I m,n , ˜x(m, n) ∈ Π Xi (I m,n ) <strong>und</strong> ỹ(m, n) ∈ Π Yj (I m,n ). Werden<br />
diese Wahrscheinlichkeiten in Gl. (2.9) eingesetzt <strong>und</strong> wird berücksichtigt,<br />
dass für die Quadervolumina nach dem Satz <strong>von</strong> Fubini<br />
|I m,n | = |Π Xi (I m,n ) × Π Yj (I m,n )| = |Π Xi (I m,n )| · |Π Yj (I m,n )|<br />
gilt, so erhält man für die gegenseitige Information bezüglich I n<br />
M In (X i , Y j ) =<br />
∑M n<br />
m=1<br />
g Xi ,Y j<br />
(˜x(m, n), ỹ(m, n))<br />
× log g X i ,Y j<br />
(˜x(m, n), ỹ(m, n))<br />
g Xi (˜x(m, n)) · g Yj (ỹ(m, n)) · |I m,n| . (3.14)<br />
Da die kontinuierliche gegenseitige Information als Riemann-Integral existieren<br />
soll, folgt unmittelbar<br />
M In (X i , Y j )<br />
n→∞<br />
−−−→ M(X i , Y j ) . (3.15)<br />
Handelt es sich bei (I n ) n∈N um eine Folge verfeinerter Partitionen, so ist diese<br />
Konvergenz sogar monoton steigend, denn es gilt<br />
I n+1 ≺ I n =⇒ M In+1 (X i , Y j ) ≥ M In (X i , Y j ) , (3.16)<br />
wie Darbellay (1999) zeigte.<br />
Ein alternativer Beweis für diese Aussage soll im Folgenden vorgestellt werden.<br />
Da jede Verfeinerung einer Partition gewonnen werden kann, indem eine endliche<br />
Anzahl <strong>von</strong> elementaren Verfeinerungen hintereinander ausgeführt wird, reicht<br />
es aus, wenn M J (X i , Y j ) ≥ M I (X i , Y j ) für jede elementare Verfeinerung J <strong>von</strong><br />
I gezeigt wird. J soll hierbei aus I hervorgehen, indem der Quader I m ∈ I in<br />
die Quader J m1 , J m2 ∈ J , mit J m1 ∩ J m2 = ∅ <strong>und</strong> J m1 ∪ J m2 = I m zerlegt wird.<br />
Dafür muss genau ein Intervall B m,k , das die k-te Kante <strong>von</strong> I m darstellt, in zwei
Change language