Regelbasierte Repräsentation von Neuronalen Netzen auf Basis ...
Regelbasierte Repräsentation von Neuronalen Netzen auf Basis ...
Regelbasierte Repräsentation von Neuronalen Netzen auf Basis ...
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong><br />
<strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong><br />
Dekomposition<br />
Im Rahmen des Seminars<br />
„Softcomputing“
Daniel Schulte<br />
Agenda<br />
• Motivation<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Grundlagen: “Aggregate Feedforward Neural Networks”<br />
• Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analyse eines Beispiels<br />
• Fazit<br />
2<br />
19.12.2007
Agenda<br />
• Motivation<br />
• Grundlagen: “Aggregate Feedforward Neural Networks”<br />
• Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analyse eines Beispiels<br />
• Fazit<br />
Daniel Schulte<br />
Motivation<br />
• Anwendungsgebiete<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong><br />
3<br />
19.12.2007
Motivation - Anwendungsgebiete<br />
Daniel Schulte<br />
Anwendungsgebiete<br />
• Wirtschaft<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Prognose <strong>von</strong> Finanzmarktdaten (z. B. Aktienkurse)<br />
▫ Prognose <strong>von</strong> Kreditwürdigkeit (Bankruptcy Prediction)<br />
• Informationstechnologie<br />
▫ Sprach- und Bilderkennung / Route Mapping (Kohonen-Netz)<br />
▫ Intelligent Robotics<br />
• Medizin<br />
▫ Ursachen-Wirkungs-Zusammenhänge<br />
▫ Zeitbezogene (Krankheits-)Diagnose<br />
4<br />
19.12.2007
Motivation - Anwendungsgebiete<br />
Daniel Schulte<br />
Anwendungsgebiete<br />
• Wirtschaft<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Prognose <strong>von</strong> Finanzmarktdaten (z. B. Aktienkurse)<br />
▫ Prognose <strong>von</strong> Kreditwürdigkeit (Bankruptcy Prediction)<br />
• Data Mining mit Hilfe Künstlicher Neuronaler Netze<br />
▫ Extraktion <strong>von</strong> Regeln und Zusammenhängen<br />
• Beispiel<br />
▫ Geldmengen-Preis-Beziehung / Ursachen für die<br />
Inflationsentwicklung (in UK und USA)<br />
5<br />
19.12.2007
Motivation – Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong><br />
Daniel Schulte<br />
Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong> (I)<br />
• Ausgangssituation:<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Künstliche Neuronale Netze (KNN) gelten als exzellente<br />
„Lerner“<br />
• ABER:<br />
▫ KNN werden oft als „Black-Boxes“ angesehen<br />
▫ Das „Wissen“ <strong>von</strong> KNN ist schwierig zu explizieren<br />
• ZIEL:<br />
▫ Generierung/Extraktion <strong>von</strong> (möglichst verständlichen) Regeln<br />
aus KNN<br />
6<br />
19.12.2007
Motivation – Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong><br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong> (II)<br />
• Ansätze:<br />
▫ Beginn der 1990er:<br />
Knowledge-Based Artifactial Neural Network (KBANN)<br />
Shavlik, Towell, Craven et al.<br />
▫ Ende der 1990er:<br />
NeuroRule („A connestionist approach to data mining“)<br />
Verwendung <strong>von</strong> Feedforward Neural Network<br />
Lu, Setino, Liu et al.<br />
• Problem:<br />
▫ Algorithmen zur Regelextraktion, aber a priori-Definition des<br />
Ziel(-Attributs) notwendig<br />
7<br />
19.12.2007
Motivation – Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong><br />
Daniel Schulte<br />
Regelextraktion aus <strong>Neuronalen</strong> <strong>Netzen</strong> (III)<br />
• seit 2000:<br />
▫ Verwendung <strong>von</strong> „Aggregate Feedforward Neural Networks“<br />
(AFFNN)<br />
▫ Schmidt, Chen, Binner, Gazely et al.<br />
• Entscheidende Entwicklung:<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Lernen und Testen ist möglich ohne eine bestimmtes Zielattribut<br />
a priori festgelegt zu haben.<br />
▫ Regelextraktion ist nach der Lernphase hinsichtlich aller im<br />
Modell angelegten Attribute möglich<br />
8<br />
19.12.2007
Agenda<br />
• Motivation<br />
• Grundlagen: “Aggregate Feedforward Neural Networks”<br />
• Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analyse eines Beispiels<br />
• Fazit<br />
Daniel Schulte<br />
Grundlagen: “Aggregate Feedforward<br />
Neural Networks”<br />
• Netzwerktopologie<br />
• Aktivierungsfunktion<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Lernalgorithmen und Testverfahren<br />
9<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Netzwerktopologie<br />
Daniel Schulte<br />
Netztopologie <strong>von</strong> AFFNN<br />
• Geschichtet Struktur<br />
▫ Je eine Input- und Output-<br />
Schicht<br />
▫ (min.) eine Hidden-Schicht<br />
• Vollständiges Feedforward-<br />
Netz<br />
▫ Keine Shortcut-Connections<br />
• Lernalgorithmus frei wählbar<br />
(i.d.R. Backpropagation)<br />
• Aktivierungsfunktion frei<br />
wählbar (i.d.R. Sigmoid und<br />
Identität)<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
10<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Aktivierungsfunktion<br />
Daniel Schulte<br />
Aktivierungsfunktion<br />
• Beziehung zwischen Netto-<br />
Input und Output eines<br />
Neurons<br />
• Aktivitätslevel<br />
▫ Bestimmt durch Netto-Input<br />
und Aktivierungsfunktion<br />
▫ Ist entscheidend dafür, ob<br />
ein Neuron „feuert“<br />
• Unterschiedliche Muster (z.B.)<br />
▫ Binäre Aktivierung<br />
▫ (Semi-)Lineare Aktivierung<br />
▫ Sigmoide Aktivierung<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
11<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Aktivierungsfunktion<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Vorteile der Sigmoiden Aktivierung<br />
• Aktivitätslevel ist begrenzt<br />
▫ Bei linearer Aktivierung kann der Aktivitätslevel theoretische<br />
unendlich wachsen<br />
• Geringer Anstieg zu Beginn<br />
▫ „quasi“ Schwellenwert<br />
▫ Fehler durch „Rauschen“ werden minimiert<br />
• Stetige Aktivierungsfunktion<br />
▫ Differenzierbarkeit<br />
▫ Notwendige Voraussetzung für den Backpropagation-<br />
Lernalgorithmus<br />
12<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Lernalgorithmen und Testverfahren<br />
Daniel Schulte<br />
Backpropagation Lernalgorithmus<br />
• Iterative Modifikation der Verbindungsgewichte<br />
• Ziel: Musterassoziation<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Eingabe und Zielwerte müssen vorhanden sein<br />
▫ Eingabemuster soll möglichst exakt in Zielmuster abgebildet<br />
werden<br />
Supervised Learning<br />
• Zwei Lernphasen<br />
1. Forwardpropagation<br />
2. Backpropagation<br />
13<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Lernalgorithmen und Testverfahren<br />
Daniel Schulte<br />
Phase 1: Forwardpropagation<br />
1. Input eines Vektors<br />
2. Netto-Inputs der Hidden-<br />
Layer-Neuronen werden<br />
synchron ermittelt<br />
3. Aktivierungen und Ausgaben<br />
der Hidden-Layer-Neuronen<br />
werden synchron ermittelt<br />
4. Anschließend analoger<br />
Vorgange für die Output-<br />
Layer-Neuronen<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
14<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Lernalgorithmen und Testverfahren<br />
Daniel Schulte<br />
Phase 2: Backpropagation<br />
1. Vergleich des Outputs mit<br />
dem Zielwert<br />
2. Ermittlung des Fehlers als<br />
Differenz zwischen Output<br />
und Zielwert<br />
3. Anpassung der Gewichte der<br />
Verbindungen in<br />
Abhängigkeit ihres Einflusses<br />
<strong>auf</strong> den Fehler<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
15<br />
19.12.2007
Grundlagen <strong>von</strong> “Aggregate Feedforward Neural Networks” - Lernalgorithmen und Testverfahren<br />
Daniel Schulte<br />
Testen<br />
• Beim Testen findet keine Modifikation der Gewichte<br />
statt<br />
• Variationen<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Testen mit gleichem Datensatz (wie beim Lernen)<br />
Zur Überprüfung des „Lernerfolges“<br />
▫ Testen mit neuen/unterschiedlichen Datensatz<br />
Zur Überprüfung Allgemeingültigkeit des Netzes<br />
16<br />
19.12.2007
Agenda<br />
• Motivation<br />
• Grundlagen: “Aggregate Feedforward Neural Networks”<br />
• Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analyse eines Beispiels<br />
• Fazit<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong><br />
Dekomposition<br />
• Dekomposition <strong>von</strong> Ein- und Ausgabe<br />
• Lernen und Testen des AFFNN<br />
• Regelextraktion<br />
17<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Dekomposition <strong>von</strong> Ein- und Ausgabe<br />
Daniel Schulte<br />
Dekomposition: Clustering des Inputs<br />
• Allen Daten werden in Cluster<br />
eingeteilt<br />
▫ Automatisierter Clustering-<br />
Algorithmus (Schmidt, 2002)<br />
▫ „Thermometer Encoding“<br />
(ordinal), „One-of-N“-<br />
Encoding (nominal)<br />
• (Evtl.) Elimination nicht<br />
signifikanter Daten<br />
▫ Elimination <strong>von</strong> sich nicht<br />
signifikant unterscheidenden<br />
Daten<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
18<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Dekomposition <strong>von</strong> Ein- und Ausgabe<br />
Daniel Schulte<br />
Dekomposition <strong>von</strong> Ein- und Ausgabe<br />
• Anzahl der Input- und Output-<br />
Knoten ist identisch<br />
▫ Sowohl Input als auch Output<br />
erhalten die identische<br />
Clustering-Struktur<br />
• Jeder Knoten ist mit jedem<br />
Knoten der folgenden Schicht<br />
verbunden<br />
• Es werden die Beziehungen<br />
hinsichtlich aller Output-<br />
Variablen im Modell gelernt<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
19<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Lernen und Testen des AFFMM<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Lernen und Testen des AFFNN<br />
• Vereinigung mehrerer einzelner KNN in einem AFFNN<br />
• Training und Test einer Anzahl K <strong>von</strong> Zielattributen<br />
innerhalb eines AFFNN möglich, für das ursprünglich K<br />
verschiedene KNN notwendig waren<br />
Notwendigkeit eines speziellen Trainingsalgorithmus<br />
20<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Lernen und Testen des AFFMM<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
19.12.2007<br />
Lernen und Testen: AFFNN vs. einzelne FFNN<br />
vs.<br />
21
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Lernen und Testen des AFFMM<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Lernen und Testen des AFFNN<br />
• Alle Output-Variablen werden jeweils <strong>auf</strong> <strong>Basis</strong> aller<br />
anderen Variablen im Netzwerk angelernt.<br />
• Lernen der Beziehungen für Output-Variable i mit alle<br />
Inputs-Variablen außer i.<br />
▫ mit 1
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Lernen und Testen des AFFMM<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Beispiel: Abl<strong>auf</strong> des AFFNN Lernalgorithmus<br />
für x<br />
23<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Lernen und Testen des AFFMM<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Beispiel: Abl<strong>auf</strong> des AFFNN Lernalgorithmus<br />
für y<br />
24<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Lernen und Testen des AFFMM<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Beispiel: Abl<strong>auf</strong> des AFFNN Lernalgorithmus<br />
für z<br />
25<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Regelextraktion<br />
Daniel Schulte<br />
Regelextraktion (I)<br />
• Erst jetzt: Betrachtung<br />
hinsichtlich eines spezifischen<br />
Outputs<br />
• Beispiel: Herleitung der<br />
Regeln für jedes (der drei)<br />
Cluster der Variable z in<br />
Abhängigkeit <strong>von</strong> Variable x<br />
und y<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
26<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Regelextraktion<br />
Daniel Schulte<br />
Regelextraktion (II)<br />
• Extraktion <strong>von</strong> if-then-Regeln<br />
▫ Für den Menschen interpretierbar<br />
▫ Für maschinell Verarbeitung geeignet<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Regel werden ausgehend vom Output in umgekehrter<br />
L<strong>auf</strong>richtung der Layer-Abfolge hergeleitet<br />
▫ Angelernte Verbindungsgewichte, Aktivierungsfunktion und<br />
(mögliche) Schwellenwerte sind bekannt<br />
▫ Bestimmung der Inputbedingungen, die den entsprechenden<br />
Aktivitätslevel des Output ermöglichen<br />
27<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Regelextraktion<br />
Daniel Schulte<br />
Beispiel: Regelextraktion für Gewinn (I)<br />
• Ausgangspunkt: Gewinn? (1)<br />
• Schritt zum Hidden-Layer<br />
▫ Prüfe welcher Input/welche<br />
Inputkombination zum<br />
feuern der Output-Variable 1<br />
führt<br />
• Mögliche Regel:<br />
▫ If ( (Umsatz > 2 & Umsatz 0 & Kosten < 1)<br />
)<br />
then (Gewinn? = 1) true<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
28<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Regelextraktion<br />
Daniel Schulte<br />
Beispiel: Regelextraktion für Gewinn (II)<br />
• Ausgangspunkt: Gewinn? (1)<br />
• Schritt zum Hidden-Layer<br />
▫ Prüfe welcher Input/welche<br />
Inputkombination zum<br />
feuern der Output-Variable 1<br />
führt<br />
• Mögliche Regel:<br />
▫ If ( (Umsatz > 2 & Umsatz 0 & Kosten < 1)<br />
)<br />
then (Gewinn? = 1) true<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
29<br />
19.12.2007
Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition – Regelextraktion<br />
Daniel Schulte<br />
Beispiel: Regelextraktion für Gewinn (III)<br />
• Ausgangspunkt: Gewinn? (1)<br />
• Schritt zum Hidden-Layer<br />
▫ Prüfe welcher Input/welche<br />
Inputkombination zum<br />
feuern der Output-Variable 1<br />
führt<br />
• Mögliche Regel:<br />
▫ If ( (Umsatz > 2 & Umsatz 0 & Kosten < 1)<br />
)<br />
then (Gewinn? = 1) true<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
30<br />
19.12.2007
Agenda<br />
• Motivation<br />
• Grundlagen: “Aggregate Feedforward Neural Networks”<br />
• Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analyse eines Beispiels<br />
• Fazit<br />
Daniel Schulte<br />
Analyse eines Beispiels<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analysing Monetary Service Indicator (MSI)<br />
Rules for the USA (Schmidt, Binner/2007)<br />
31<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Monetary Service Indicator (MSI)<br />
• Fragestellung:<br />
▫ Wie hängt die Menge des sich im Uml<strong>auf</strong> befindlichen Geldes mit<br />
der Preisstellung am Markt (Inflationsrate) zusammen?<br />
• Historische Definition:<br />
▫ Ökonomisch fundiert: Es besteht längerfristig eine Beziehung<br />
zwischen der Zunahme der Geldvorrates und der Inflationsrate<br />
▫ Inputfaktor zur Erklärung der Inflationsrate: Aggregat des<br />
Geldvorrates<br />
• Weiterführende Untersuchung in dieser Studie:<br />
▫ Haben die verschiedene „Formen des Geldes“ (Bargeld,<br />
Sparverträge, Firmeneinlagen, Fonds etc.) Einfluss <strong>auf</strong> die Inflation?<br />
Welches Modell erklärt die Zusammenhänge am Besten?<br />
• Verwendung eines AFFNN zur Untersuchung<br />
32<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
MSI: Daten<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Verschiedene Ansätze zur Differenzierung des<br />
Geldvorrates<br />
▫ Verfügbarkeit, Zinssatz, Substitutivität etc.<br />
Symbol Name<br />
CC Currency<br />
DD Demand Deposits<br />
OCD Other Checkable Deposits<br />
SAV Savings & Money Market Deposits (MMD)<br />
BDMMF Non-institutional Money Market Deposits<br />
STD Small Denomination Time Deposits<br />
33<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
MSI: Vorbereitung der Daten<br />
• Monatliche Zahlen <strong>von</strong> Jan. 1961 bis Jan. 2006<br />
▫ 541 Datensätze<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Berechnung der prozentualen Änderungen zum<br />
Vormonat sowie zum repräsentativen Vorjahr<br />
▫ 530 Datensätze<br />
Automatischer Clustering-Algorithmus (nach Schmidt,<br />
2002)<br />
34<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
MSI: Vorbereitung der Daten<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Symbol Levels Breakpoints of Cluster (in %)<br />
CC ? ?<br />
DD 4 -0,036455; -0,1494; 0,078432<br />
OCD 10 -0,0365; 0,03416; 0,7328; 0,9885; 1,1755; 1,3468; 1,6259; 2,0138; 2,3244<br />
SAV 6 -0,1869; 0,1844; 0,4118; 0,6826; 1,0124<br />
STD 11 -0,1030; -0,0526; -0,0111; 0,0327; 0,0985; 0,1912; 0,2829; 0,3787;<br />
0,4503; 0,5082<br />
INFL 3 -0,3707; 0,5675<br />
• Veränderung des Datensatzes:<br />
▫ CC (<strong>von</strong> Autoren) nicht angegeben<br />
▫ BDMMF nicht miteinbezogen, da nur ein Cluster<br />
▫ Inflationsdaten hinzugefügt<br />
35<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
MSI: Modellauswahl<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Lernen und Testen mehrerer Modell-Topologien<br />
▫ Variation der Inputs<br />
Alle Inputs / ohne BDMMF / BDMMF und CC<br />
▫ Variation der Anzahl der Hidden-Layer<br />
4, 5 und 6<br />
▫ Clustering der Inflationsvariable<br />
Mit und ohne Grenze bei 0<br />
• 345 (65%) Datensätze zum Lernen, 185 (35%) zum Test<br />
• 2500 Lernepochen<br />
• 1000 Wiederholungen pro Modell<br />
▫ Wahl des Besten zum Vergleich<br />
▫ Keine Wiederholung mit >7,5 Sekunden Rechenzeit<br />
36<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
MSI: Modellauswahl (I)<br />
No Top Z? # Rules per Output-<br />
Node<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Training<br />
Accuracy<br />
per Node<br />
(in%)<br />
Testingg<br />
Accuracy<br />
per Node<br />
(in%)<br />
Input<br />
1 40-4-3 N 343/535/79 (=957) 94/85/90 96/82/90 CC, DD, OCD,<br />
SAV, STD<br />
2 31-4-4 Y 52/47/108/12 (=219) 92/73/69/85 95/70/62/87 DD, OCD, SAV,<br />
STD<br />
3 31-4-3 N 38/59/19 (=116) 93/83/89 92/76/83 DD, OCD, SAV,<br />
STD<br />
• Kaum Signifikanz <strong>von</strong> CC (Curreny) und des modifizierten<br />
Inflationsclusters, aber Starke Anstieg der Regelmenge<br />
Nummer 3 mit akzeptabelsten Rule-Accuracy-Verhältnis<br />
37<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
Regelanalyse <strong>von</strong> Modell #3<br />
• Bespiele zur Analyse der Regeln:<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
▫ Große Anzahl der Regeln enthält alle 4 Input-Variablen<br />
▫ Einfluss <strong>von</strong> STD (Termingeschäften) ist besonders komplex bei<br />
Inflation > 5,675%/Jahr<br />
▫ Uml<strong>auf</strong>vermögen nicht relevant für die Inflation<br />
38<br />
19.12.2007
Analyse eines Beispiel – Analysing MSI Rules for the USA<br />
Daniel Schulte<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
Ergebnis einer weiteren Studie<br />
39<br />
19.12.2007
Agenda<br />
• Motivation<br />
• Grundlagen: “Aggregate Feedforward Neural Networks”<br />
• Regelextraktion <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Analyse eines Beispiels<br />
• Fazit<br />
Daniel Schulte<br />
Fazit<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
40<br />
19.12.2007
Fazit<br />
Daniel Schulte<br />
Fazit<br />
Nachteile Vorteile<br />
• Aufwendige empirische<br />
Analyse der Topologie<br />
• Rechen<strong>auf</strong>wand im AFFNN<br />
größer als in „traditionellen“<br />
KNN<br />
• Regeln: Genauigkeit vs.<br />
Umfang<br />
<strong>Regelbasierte</strong> <strong>Repräsentation</strong> <strong>von</strong> <strong>Neuronalen</strong> <strong>Netzen</strong> <strong>auf</strong> <strong>Basis</strong> <strong>von</strong> Dekomposition<br />
• Anpassung an „gute“ Modell<br />
möglich (Benchmarking)<br />
• a priori Bestimmung des Ziels<br />
nicht notwendig<br />
• Steigende Rechnerleistung<br />
• „Althergebrachte“ Annahmen<br />
werden überprüft (vgl. MSI)<br />
• Prognose<br />
41<br />
19.12.2007
Vielen Dank für die<br />
Aufmerksamkeit!!!<br />
<strong>Regelbasierte</strong><br />
<strong>Repräsentation</strong> <strong>von</strong><br />
<strong>Neuronalen</strong> <strong>Netzen</strong><br />
<strong>auf</strong> <strong>Basis</strong> <strong>von</strong><br />
Dekomposition<br />
19.12.2007<br />
42