Regelbasierte Repräsentation von Neuronalen Netzen auf Basis ...

Regelbasierte Repräsentation von 

Neuronalen Netzen auf Basis von 

Dekomposition 

Im Rahmen des Seminars 

„Softcomputing“

Daniel Schulte 

Agenda 

• Motivation 

Regelbasierte Repräsentation von Neuronalen Netzen auf Basis von Dekomposition 

• Grundlagen: “Aggregate Feedforward Neural Networks” 

• Regelextraktion auf Basis von Dekomposition 

• Analyse eines Beispiels 

• Fazit 

2 

19.12.2007

Agenda 





• Fazit 


Motivation 

• Anwendungsgebiete 


• Regelextraktion aus Neuronalen Netzen 

3 

19.12.2007

Motivation - Anwendungsgebiete 


Anwendungsgebiete 

• Wirtschaft 


▫ Prognose von Finanzmarktdaten (z. B. Aktienkurse) 

▫ Prognose von Kreditwürdigkeit (Bankruptcy Prediction) 

• Informationstechnologie 

▫ Sprach- und Bilderkennung / Route Mapping (Kohonen-Netz) 

▫ Intelligent Robotics 

• Medizin 

▫ Ursachen-Wirkungs-Zusammenhänge 

▫ Zeitbezogene (Krankheits-)Diagnose 

4 

19.12.2007

Motivation - Anwendungsgebiete 


Anwendungsgebiete 

• Wirtschaft 


▫ Prognose von Finanzmarktdaten (z. B. Aktienkurse) 

▫ Prognose von Kreditwürdigkeit (Bankruptcy Prediction) 

• Data Mining mit Hilfe Künstlicher Neuronaler Netze 

▫ Extraktion von Regeln und Zusammenhängen 

• Beispiel 

▫ Geldmengen-Preis-Beziehung / Ursachen für die 

Inflationsentwicklung (in UK und USA) 

5 

19.12.2007

Motivation – Regelextraktion aus Neuronalen Netzen 


Regelextraktion aus Neuronalen Netzen (I) 

• Ausgangssituation: 


▫ Künstliche Neuronale Netze (KNN) gelten als exzellente 

„Lerner“ 

• ABER: 

▫ KNN werden oft als „Black-Boxes“ angesehen 

▫ Das „Wissen“ von KNN ist schwierig zu explizieren 

• ZIEL: 

▫ Generierung/Extraktion von (möglichst verständlichen) Regeln 

aus KNN 

6 

19.12.2007




Regelextraktion aus Neuronalen Netzen (II) 

• Ansätze: 

▫ Beginn der 1990er: 

Knowledge-Based Artifactial Neural Network (KBANN) 

Shavlik, Towell, Craven et al. 

▫ Ende der 1990er: 

NeuroRule („A connestionist approach to data mining“) 

Verwendung von Feedforward Neural Network 

Lu, Setino, Liu et al. 

• Problem: 

▫ Algorithmen zur Regelextraktion, aber a priori-Definition des 

Ziel(-Attributs) notwendig 

7 

19.12.2007



Regelextraktion aus Neuronalen Netzen (III) 

• seit 2000: 

▫ Verwendung von „Aggregate Feedforward Neural Networks“ 

(AFFNN) 

▫ Schmidt, Chen, Binner, Gazely et al. 

• Entscheidende Entwicklung: 


▫ Lernen und Testen ist möglich ohne eine bestimmtes Zielattribut 

a priori festgelegt zu haben. 

▫ Regelextraktion ist nach der Lernphase hinsichtlich aller im 

Modell angelegten Attribute möglich 

8 

19.12.2007

Agenda 





• Fazit 


Grundlagen: “Aggregate Feedforward 

Neural Networks” 

• Netzwerktopologie 

• Aktivierungsfunktion 


• Lernalgorithmen und Testverfahren 

9 

19.12.2007

Grundlagen von “Aggregate Feedforward Neural Networks” - Netzwerktopologie 


Netztopologie von AFFNN 

• Geschichtet Struktur 

▫ Je eine Input- und Output- 

Schicht 

▫ (min.) eine Hidden-Schicht 

• Vollständiges Feedforward- 

Netz 

▫ Keine Shortcut-Connections 

• Lernalgorithmus frei wählbar 

(i.d.R. Backpropagation) 

• Aktivierungsfunktion frei 

wählbar (i.d.R. Sigmoid und 

Identität) 


10 

19.12.2007

Grundlagen von “Aggregate Feedforward Neural Networks” - Aktivierungsfunktion 


Aktivierungsfunktion 

• Beziehung zwischen Netto- 

Input und Output eines 

Neurons 

• Aktivitätslevel 

▫ Bestimmt durch Netto-Input 

und Aktivierungsfunktion 

▫ Ist entscheidend dafür, ob 

ein Neuron „feuert“ 

• Unterschiedliche Muster (z.B.) 

▫ Binäre Aktivierung 

▫ (Semi-)Lineare Aktivierung 

▫ Sigmoide Aktivierung 


11 

19.12.2007

Grundlagen von “Aggregate Feedforward Neural Networks” - Aktivierungsfunktion 



Vorteile der Sigmoiden Aktivierung 

• Aktivitätslevel ist begrenzt 

▫ Bei linearer Aktivierung kann der Aktivitätslevel theoretische 

unendlich wachsen 

• Geringer Anstieg zu Beginn 

▫ „quasi“ Schwellenwert 

▫ Fehler durch „Rauschen“ werden minimiert 

• Stetige Aktivierungsfunktion 

▫ Differenzierbarkeit 

▫ Notwendige Voraussetzung für den Backpropagation- 

Lernalgorithmus 

12 

19.12.2007

Grundlagen von “Aggregate Feedforward Neural Networks” - Lernalgorithmen und Testverfahren 


Backpropagation Lernalgorithmus 

• Iterative Modifikation der Verbindungsgewichte 

• Ziel: Musterassoziation 


▫ Eingabe und Zielwerte müssen vorhanden sein 

▫ Eingabemuster soll möglichst exakt in Zielmuster abgebildet 

werden 

Supervised Learning 

• Zwei Lernphasen 

1. Forwardpropagation 

2. Backpropagation 

13 

19.12.2007



Phase 1: Forwardpropagation 

1. Input eines Vektors 

2. Netto-Inputs der Hidden- 

Layer-Neuronen werden 

synchron ermittelt 

3. Aktivierungen und Ausgaben 

der Hidden-Layer-Neuronen 

werden synchron ermittelt 

4. Anschließend analoger 

Vorgange für die Output- 

Layer-Neuronen 


14 

19.12.2007



Phase 2: Backpropagation 

1. Vergleich des Outputs mit 

dem Zielwert 

2. Ermittlung des Fehlers als 

Differenz zwischen Output 

und Zielwert 

3. Anpassung der Gewichte der 

Verbindungen in 

Abhängigkeit ihres Einflusses 

auf den Fehler 


15 

19.12.2007



Testen 

• Beim Testen findet keine Modifikation der Gewichte 

statt 

• Variationen 


▫ Testen mit gleichem Datensatz (wie beim Lernen) 

Zur Überprüfung des „Lernerfolges“ 

▫ Testen mit neuen/unterschiedlichen Datensatz 

Zur Überprüfung Allgemeingültigkeit des Netzes 

16 

19.12.2007

Agenda 





• Fazit 



Regelextraktion auf Basis von 

Dekomposition 

• Dekomposition von Ein- und Ausgabe 

• Lernen und Testen des AFFNN 

• Regelextraktion 

17 

19.12.2007

Regelextraktion auf Basis von Dekomposition – Dekomposition von Ein- und Ausgabe 


Dekomposition: Clustering des Inputs 

• Allen Daten werden in Cluster 

eingeteilt 

▫ Automatisierter Clustering- 

Algorithmus (Schmidt, 2002) 

▫ „Thermometer Encoding“ 

(ordinal), „One-of-N“- 

Encoding (nominal) 

• (Evtl.) Elimination nicht 

signifikanter Daten 

▫ Elimination von sich nicht 

signifikant unterscheidenden 

Daten 


18 

19.12.2007

Regelextraktion auf Basis von Dekomposition – Dekomposition von Ein- und Ausgabe 


Dekomposition von Ein- und Ausgabe 

• Anzahl der Input- und Output- 

Knoten ist identisch 

▫ Sowohl Input als auch Output 

erhalten die identische 

Clustering-Struktur 

• Jeder Knoten ist mit jedem 

Knoten der folgenden Schicht 

verbunden 

• Es werden die Beziehungen 

hinsichtlich aller Output- 

Variablen im Modell gelernt 


19 

19.12.2007

Regelextraktion auf Basis von Dekomposition – Lernen und Testen des AFFMM 



Lernen und Testen des AFFNN 

• Vereinigung mehrerer einzelner KNN in einem AFFNN 

• Training und Test einer Anzahl K von Zielattributen 

innerhalb eines AFFNN möglich, für das ursprünglich K 

verschiedene KNN notwendig waren 

Notwendigkeit eines speziellen Trainingsalgorithmus 

20 

19.12.2007




19.12.2007 

Lernen und Testen: AFFNN vs. einzelne FFNN 

vs. 

21




Lernen und Testen des AFFNN 

• Alle Output-Variablen werden jeweils auf Basis aller 

anderen Variablen im Netzwerk angelernt. 

• Lernen der Beziehungen für Output-Variable i mit alle 

Inputs-Variablen außer i. 

▫ mit 1




Beispiel: Ablauf des AFFNN Lernalgorithmus 

für x 

23 

19.12.2007





für y 

24 

19.12.2007





für z 

25 

19.12.2007

Regelextraktion auf Basis von Dekomposition – Regelextraktion 


Regelextraktion (I) 

• Erst jetzt: Betrachtung 

hinsichtlich eines spezifischen 

Outputs 

• Beispiel: Herleitung der 

Regeln für jedes (der drei) 

Cluster der Variable z in 

Abhängigkeit von Variable x 

und y 


26 

19.12.2007



Regelextraktion (II) 

• Extraktion von if-then-Regeln 

▫ Für den Menschen interpretierbar 

▫ Für maschinell Verarbeitung geeignet 


• Regel werden ausgehend vom Output in umgekehrter 

Laufrichtung der Layer-Abfolge hergeleitet 

▫ Angelernte Verbindungsgewichte, Aktivierungsfunktion und 

(mögliche) Schwellenwerte sind bekannt 

▫ Bestimmung der Inputbedingungen, die den entsprechenden 

Aktivitätslevel des Output ermöglichen 

27 

19.12.2007



Beispiel: Regelextraktion für Gewinn (I) 

• Ausgangspunkt: Gewinn? (1) 

• Schritt zum Hidden-Layer 

▫ Prüfe welcher Input/welche 

Inputkombination zum 

feuern der Output-Variable 1 

führt 

• Mögliche Regel: 

▫ If ( (Umsatz > 2 & Umsatz 0 & Kosten < 1) 

) 

then (Gewinn? = 1) true 


28 

19.12.2007



Beispiel: Regelextraktion für Gewinn (II) 






führt 



) 



29 

19.12.2007



Beispiel: Regelextraktion für Gewinn (III) 






führt 



) 



30 

19.12.2007

Agenda 





• Fazit 


Analyse eines Beispiels 


• Analysing Monetary Service Indicator (MSI) 

Rules for the USA (Schmidt, Binner/2007) 

31 

19.12.2007

Analyse eines Beispiel – Analysing MSI Rules for the USA 



Monetary Service Indicator (MSI) 

• Fragestellung: 

▫ Wie hängt die Menge des sich im Umlauf befindlichen Geldes mit 

der Preisstellung am Markt (Inflationsrate) zusammen? 

• Historische Definition: 

▫ Ökonomisch fundiert: Es besteht längerfristig eine Beziehung 

zwischen der Zunahme der Geldvorrates und der Inflationsrate 

▫ Inputfaktor zur Erklärung der Inflationsrate: Aggregat des 

Geldvorrates 

• Weiterführende Untersuchung in dieser Studie: 

▫ Haben die verschiedene „Formen des Geldes“ (Bargeld, 

Sparverträge, Firmeneinlagen, Fonds etc.) Einfluss auf die Inflation? 

Welches Modell erklärt die Zusammenhänge am Besten? 

• Verwendung eines AFFNN zur Untersuchung 

32 

19.12.2007



MSI: Daten 


• Verschiedene Ansätze zur Differenzierung des 

Geldvorrates 

▫ Verfügbarkeit, Zinssatz, Substitutivität etc. 

Symbol Name 

CC Currency 

DD Demand Deposits 

OCD Other Checkable Deposits 

SAV Savings & Money Market Deposits (MMD) 

BDMMF Non-institutional Money Market Deposits 

STD Small Denomination Time Deposits 

33 

19.12.2007



MSI: Vorbereitung der Daten 

• Monatliche Zahlen von Jan. 1961 bis Jan. 2006 

▫ 541 Datensätze 


• Berechnung der prozentualen Änderungen zum 

Vormonat sowie zum repräsentativen Vorjahr 

▫ 530 Datensätze 

Automatischer Clustering-Algorithmus (nach Schmidt, 

2002) 

34 

19.12.2007



MSI: Vorbereitung der Daten 


Symbol Levels Breakpoints of Cluster (in %) 

CC ? ? 

DD 4 -0,036455; -0,1494; 0,078432 

OCD 10 -0,0365; 0,03416; 0,7328; 0,9885; 1,1755; 1,3468; 1,6259; 2,0138; 2,3244 

SAV 6 -0,1869; 0,1844; 0,4118; 0,6826; 1,0124 

STD 11 -0,1030; -0,0526; -0,0111; 0,0327; 0,0985; 0,1912; 0,2829; 0,3787; 

0,4503; 0,5082 

INFL 3 -0,3707; 0,5675 

• Veränderung des Datensatzes: 

▫ CC (von Autoren) nicht angegeben 

▫ BDMMF nicht miteinbezogen, da nur ein Cluster 

▫ Inflationsdaten hinzugefügt 

35 

19.12.2007



MSI: Modellauswahl 


• Lernen und Testen mehrerer Modell-Topologien 

▫ Variation der Inputs 

Alle Inputs / ohne BDMMF / BDMMF und CC 

▫ Variation der Anzahl der Hidden-Layer 

4, 5 und 6 

▫ Clustering der Inflationsvariable 

Mit und ohne Grenze bei 0 

• 345 (65%) Datensätze zum Lernen, 185 (35%) zum Test 

• 2500 Lernepochen 

• 1000 Wiederholungen pro Modell 

▫ Wahl des Besten zum Vergleich 

▫ Keine Wiederholung mit >7,5 Sekunden Rechenzeit 

36 

19.12.2007



MSI: Modellauswahl (I) 

No Top Z? # Rules per Output- 

Node 


Training 

Accuracy 

per Node 

(in%) 

Testingg 

Accuracy 

per Node 

(in%) 

Input 

1 40-4-3 N 343/535/79 (=957) 94/85/90 96/82/90 CC, DD, OCD, 

SAV, STD 

2 31-4-4 Y 52/47/108/12 (=219) 92/73/69/85 95/70/62/87 DD, OCD, SAV, 

STD 

3 31-4-3 N 38/59/19 (=116) 93/83/89 92/76/83 DD, OCD, SAV, 

STD 

• Kaum Signifikanz von CC (Curreny) und des modifizierten 

Inflationsclusters, aber Starke Anstieg der Regelmenge 

Nummer 3 mit akzeptabelsten Rule-Accuracy-Verhältnis 

37 

19.12.2007



Regelanalyse von Modell #3 

• Bespiele zur Analyse der Regeln: 


▫ Große Anzahl der Regeln enthält alle 4 Input-Variablen 

▫ Einfluss von STD (Termingeschäften) ist besonders komplex bei 

Inflation > 5,675%/Jahr 

▫ Umlaufvermögen nicht relevant für die Inflation 

38 

19.12.2007




Ergebnis einer weiteren Studie 

39 

19.12.2007

Agenda 





• Fazit 


Fazit 


40 

19.12.2007

Fazit 


Fazit 

Nachteile Vorteile 

• Aufwendige empirische 

Analyse der Topologie 

• Rechenaufwand im AFFNN 

größer als in „traditionellen“ 

KNN 

• Regeln: Genauigkeit vs. 

Umfang 


• Anpassung an „gute“ Modell 

möglich (Benchmarking) 

• a priori Bestimmung des Ziels 

nicht notwendig 

• Steigende Rechnerleistung 

• „Althergebrachte“ Annahmen 

werden überprüft (vgl. MSI) 

• Prognose 

41 

19.12.2007

Vielen Dank für die 

Aufmerksamkeit!!! 

Regelbasierte 

Repräsentation von 

Neuronalen Netzen 

auf Basis von 

Dekomposition 

19.12.2007 

42

Regelbasierte Repräsentation von Neuronalen Netzen auf Basis ...

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?