Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2 KAPITEL 1. EINLEITUNG
mation quantifiziert wird [Prichard & Theiler (1995), Fraser & Swinney (1986),
Darbellay (1999), Palus (1996a), Pompe (1993)]. Allerdings ist es nicht ohne weiteres
möglich, allein von stochastischer Abhängigkeit auf eine Kopplung zu schließen.
Beispielsweise sind periodische Prozesse, deren Periodendauern sich lediglich
um ein ganzzahliges Vielfaches unterscheiden, stets voneinander abhängig, auch
wenn sie ungekoppelt sind. Des Weiteren misst die gegenseitige Information den
Informationsaustausch zwischen zwei Prozessen, welcher wiederum symmetrisch
ist. Folglich kann mit ihr nicht die dominierende Richtung des Informationsflusses
bestimmt werden, was notwendig wäre, um Rückschlüsse auf das getriebene und
angetriebene System ziehen zu können.
Andere Konzepte verwenden die bedingte Shannon-Entropie, um Aussagen
über die Kopplungsstärke zu machen. Hierbei wird die mittlere Unsicherheit ermittelt,
mit der ein zukünftiger Zustand von Prozess X bei bekannter Vergangenheit
von Y beobachtet wird [Porta et. al. (1999), Eguia et al. (2000)]. Bei dieser
Methode, welche als Analogon zur Kreuzvorhersage betrachtet werden kann,
wird der Informationsfluss innerhalb von X nicht mit berücksichtigt. Zur Behebung
dieses Mangels schlug Schreiber (2000) vor, die Prozesse daraufhin zu
überprüfen, ob sie die verallgemeinerte Markov-Eigenschaft erfüllen, das heißt
ob der zukünftige Zustand von X nicht nur von seiner eigenen Vergangenheit,
sondern auch von der von Y abhängt. Die Abweichung von der verallgemeinerten
Markov-Eigenschaft wird mit der Transferentropie gemessen. Die Transferentropie
gibt den Informationsfluss von einem Prozess zum anderen an und ist somit
im Gegensatz zur gegenseitigen Information asymmetrisch beim Vertauschen der
beiden Prozesse.
Da die Transferentropie nur für stochastische Prozesse mit diskretem Zustandsraum
eingeführt wurde, besteht das Hauptanliegen dieser Arbeit darin, das
Konzept der Transferentropie auf stochastische Prozesse mit kontinuierlichem Zustandsraum
zu übertragen. Dieser Schritt ist notwendig, weil eine Vielzahl von
physikalischen Prozessen nicht mit diskreten, sondern mit kontinuierlichen Variablen
beschrieben wird. Zu diesem Zweck werde ich zunächst die wichtigsten
Größen und Konzepte der Informationstheorie für diskrete Prozesse vorstellen,
wobei der gegenseitigen Information und der Transferentropie besondere Aufmerksamkeit
geschenkt werden. Insbesondere gehe ich der Frage nach, welche
Relation zwischen diesen beiden Größen besteht und wann aus der stochastischen
Unabhängigkeit geschlossen werden kann, dass die Prozesse stochastisch
ungekoppelt sind, also die verallgemeinerte Markov-Eigenschaft erfüllt ist. Außerdem
werden weitere wichtige mathematische Eigenschaften der Transferentropie
aufgezeigt. Im Anschluss hieran stelle ich die wichtigsten informationstheoretischen
Größen vor, mit denen kontinuierliche Prozesse untersucht werden. In
diesem Kontext definiere ich die kontinuierliche Transferentropie. Hierfür werden
im Wesentlichen die Übergangsverteilungen der Prozesse durch die Übergangsverteilungsdichten
ersetzt. Außerdem überprüfe ich, welche Eigenschaften
der (diskreten) Transferentropie auch von der kontinuierlichen erfüllt werden.