IEKP-KA/2013-8 - Institut fÃ¼r Experimentelle Kernphysik - KIT

Weitere Magazine

Empfehlungen

Info

44 5. Statistische Methoden blems wird als Training bezeichnet. 5.3.3. Training des neuronalen Netzes Um ein neuronales Netzwerk für Separationsprobleme zu verwenden greift man üblicherweise auf überwachte Trainingsmethoden zurück. Bei solchen Methoden wird eine Auswahl an Trainingsereignissen mit den Eingangsparametern x benötigt, deren Zugehörigkeit zur Population Signal oder Untergrund bekannt ist. Man ordnet diesen Ereignissen einem Zielwert entsprechend ihrer Natur zu, der den Wert widerspiegelt, den das Netzwerk idealer weise für diese Eingabewerte ausgeben soll. Beispielsweise kann dies 1 für Signalereignisse und 0 für Untergrundereignisse sein. Um eine solche Trainingsauswahl zu erhalten, wird entweder auf Monte Carlo Simulationen oder auf Daten, die man mit Sicherheit einem Ereignis zuordnen kann, zurück gegriffen. Im Folgenden wird für diese Auswahl an Trainingsereignissen der gebräuchliche Begriff Trainingssample aus dem Englischen verwendet. Die einzelnen Ereignisse k des Trainingssamples werden nun iterativ an das Netzwerk gegeben und dessen Ausgabewert y(x) mit dem Zielwert t verglichen. Aus den einzelnen Abweichungen wird dann die Fehlerfunktion nach der Summe der Residuenquadrate E(w) = 1 2 N∑ |y(x k , w) − t k | 2 = k=1 N∑ E k (w) (5.15) gebildet, wobei N die Anzahl der Trainingsereignisse ist. Die einzelnen Gewichte werden nun bei jedem Durchgang angepasst und der Vorgang wiederholt. Die Art und Weise wie die Gewichte angepasst werden, wird als Fehlerrückführung oder auch Backpropagation bezeichnet. Dabei werden die errechneten Fehler wieder rückwärts durch das Netzwerk übertragen und die Gewichte nach k=1 ∂E k ∂w ij = δ j g(a i ) = ∆w ij (5.16) den Korrekturfaktor als Fehler eines Neurons nach der Rück- angepasst, wobei δ j = ∂E k ∂a j führungs-Formel δ j = g(a j ) ∑ l w kj δ l (5.17) gibt [40]. Dabei bezeichnet l den Index des direkt vorangegangenen Neurons und a i ist die Eingabe ins entsprechende Neuron, also hier x i oder ϕ j . Das Vorgehen nach dem Backpropagation Verfahren garantiert, dass die Fehlerfunktion mit jeder Iteration kleiner wird und damit das Netzwerk die Populationen besser unterscheiden kann. Man spricht deshalb von einem Lernprozess, der vom neuronalen Netzwerk durchlaufen wird. Das Training entspricht dann einem Minimierungsprozess, bei dem die Fehlerfunktion 5.15 als Funktion der Gewichte w ij minimiert wird. Dabei soll das Netzwerk im Minimum der Fehlerfunktion noch eine gewisse Fähigkeit zur Generalisierung besitzen. Das bedeutet, dass Ereignisse, deren Parameterzusammensetzung nicht exakt der eines gelernten Ereignisses entsprechen, noch korrekt eingeordnet werden können. Diese Forderung stellt eine Grenze der idealen Anzahl an Trainingsiterationen dar. Werden zu viele Trainingsiterationen auf immer das gleiche Trainingssample durchgeführt, folgt das Netzwerk dessen charakteristischen Fluktuationen und verliert die Fähigkeit zur Generalisierung. Dieser Vorgang wird als Übertraining bezeichnet. Gebräuchlicher sind jedoch die englischen Begriffe Overtraining oder Overfitting. Der Einfluss von Overtraining auf die Separationsgrenze ist für den zweidimensionalen Fall in Abbildung 5.8 dargestellt. Man sieht wie im Falle von Overtraining die Separationsgrenze jeder Fluktuation im Trainingssample folgt. Um Overtraining zu verhindern wird in der Regel ein Teil des Trainingssamples dazu verwendet, die Generalisierungsfähigkeit des neuronalen Netzwerks an einer unabhängigen 44
5.3. Künstliche neuronale Netze 45 Abbildung 5.8.: Separationsgrenzen für zwei Populationen im zweidimensionalen Parameterraum von x 1 und x 2 mit guter Generalisierungsfähigkeit (links) und nach Overtraining (mitte). Rechts ist das Verhalten der Fehlerfunktion im Falle von Overtraining dargestellt [39]. Auswahl von Ereignissen zu testen. Dieses wird als Testsample bezeichnet. Bei einer guten Generalisierungsfähigkeit sollte die Performance, gemessen durch die Fehlerfunktion, für das Trainingssample und das unabhängige Testsample gleich gut sein. Nimmt die Generalisierungsfähigkeit ab, wird der Fehler auf das Trainingssample weiter kleiner, da für diese spezielle Auswahl die Trennung besser wird, wie in Abbildung 5.8 im Falle des Overtrainings zu ersehen ist. Im unabhängigen Testsample, welches diesen Fluktuationen nicht unterliegt, wird der Fehler größer. Dieses Verhalten ist in Abbildung 5.8 rechts gezeigt. An der Stelle, an der die Fehlerfunktionen auseinander laufen, sollte kein weiterer Trainingsdurchlauf durchgeführt werden. Ein Nachteil dieser Methode Overtraining zu verhindern ist, dass nicht alle Ereignisse des Trainingssamples für das Training verwendet werden können, was bei kleinen Trainingssamples zu Performanceverlusten führen kann. 5.3.4. Die NeuroBayes R○ Software NeuroBayes R○ ist eine Softwarelösung zur Erstellung eines Feed Forward Netzwerkes. Entwickelt wurde die Software am Karlsruhe <strong>Institut</strong> für Technologie (<strong>KIT</strong>) zur Ereignis- Selektion in der Hochenergiephysik, wobei sie über die Jahre weiterentwickelt wurde und schließlich zur Verwendung in der Wirtschaft im Unternehmen GmbH ausgegliedert wurde. Dadurch ist NeuroBayes R○ eine lizenzierte Software deren Quellcode damit weder einseh- noch veränderbar ist. Trotzdem findet die Software auch weiterhin im wissenschaftlichen Bereich Verwendung, wobei die Anpassung der Software an das Analyseziel durch das Setzen von Bitschaltern 4 bewerkstelligt wird. Die Software verknüpft dabei Methoden der Bayes Statistik und neuronaler Netzwerke und bietet dabei einen internen Schutz vor Overtraining [41]. Mithilfe der Bayes Statistik kann eine Definition des Wahrscheinlichkeitsbegriffs gegeben werden, der eine Aussage über sogenannte bedingte Wahrscheinlichkeiten P (A|B) macht. Die bedingte Wahrscheinlichkeit gibt dabei eine Wahrscheinlichkeit an, das Ereignis A zu beobachten, unter der Voraussetzung das Ereignis B bereits beobachtet wurde. Dabei ist die bedingte Wahrscheinlichkeit der Quotient aus der Schnittmenge der Wahrscheinlichkeit für A und B, normiert auf die Wahrscheinlichkeit für B, da dieses Ereignis per Definition aufgetreten ist P (A|B) = P (A ∩ B) . (5.18) P (B) 4 engl.: Flag 45
Seite 1 und 2: IEKP-KA/2013-8 Positronen Identifiz
Seite 3 und 4: Inhaltsverzeichnis 1. Einleitung 1
Seite 5 und 6: 1. Einleitung Die Teilchenphysik ko
Seite 7: 3 Abbildung 1.2.: Foto des AMS-02 D
Seite 10 und 11: 6 2. Physikalischer Hintergrund Abb
Seite 12 und 13: 8 2. Physikalischer Hintergrund Abb
Seite 14 und 15: 10 2. Physikalischer Hintergrund im
Seite 16 und 17: 12 2. Physikalischer Hintergrund mi
Seite 18 und 19: 14 2. Physikalischer Hintergrund Di
Seite 20 und 21: 16 3. Der AMS-02 Detektor tektor ei
Seite 22 und 23: 18 3. Der AMS-02 Detektor Abbildung
Seite 24 und 25: 20 3. Der AMS-02 Detektor Loch Paar
Seite 26 und 27: 22 3. Der AMS-02 Detektor nem Brech
Seite 28 und 29: 24 3. Der AMS-02 Detektor gien bis
Seite 31 und 32: 4. Der Übergangsstrahlungsdetektor
Seite 33 und 34: 4.2. Aufbau des Detektors und Messu
Seite 35 und 36: 4.3. Gassystem und Betrieb auf der
Seite 37 und 38: 4.4. Kalibrierung 33 Abbildung 4.7.
Seite 39 und 40: 4.5. Unterscheidung von Protonen un
Seite 41 und 42: 5. Statistische Methoden Aus den Me
Seite 43 und 44: 5.2. Das Likelihoodverhältnis 39 A
Seite 45 und 46: Entries 3137898 Mean 1.027 RMS 0.14
Seite 47: 5.3. Künstliche neuronale Netze 43
Seite 51 und 52: 6. Das neuronale Netzwerk für den
Seite 53 und 54: 6.1. Selektion des Trainingssamples
Seite 55 und 56: 6.2. Eingangs-Variablen 51 Abbildun
Seite 57 und 58: 6.2. Eingangs-Variablen 53 Energiea
Seite 59 und 60: 6.2. Eingangs-Variablen 55 Beta 1.4
Seite 61 und 62: 6.3. Training des neuronalen Netzwe
Seite 63 und 64: 6.3. Training des neuronalen Netzwe
Seite 65 und 66: 6.4. Ausgabe des neuronalen Netzwer
Seite 67 und 68: 7. Vergleich von Methoden zur Proto
Seite 69 und 70: 7.1. Reinheit der Separationsmethod
Seite 71 und 72: 7.2. Vergleich anhand der ermittelt
Seite 73 und 74: 7.2. Vergleich anhand der ermittelt
Seite 75: 7.2. Vergleich anhand der ermittelt
Seite 79 und 80: Literaturverzeichnis [1] NASA/WMAP
Seite 81: Literaturverzeichnis 77 [40] Bishop
Seite 84 und 85: 80 Abbildungsverzeichnis 3.7. Schem
Seite 86 und 87: 82 Abbildungsverzeichnis 6.6. Energ
Seite 89 und 90: Anhang A. Ausschnitt der Analysedat
Seite 91 und 92: A. AUSSCHNITT DER ANALYSEDATEI FÜR
Seite 97 und 98: B. Ausschnitt der Analysedatei für
Seite 99 und 100:
B. AUSSCHNITT DER ANALYSEDATEI FÜR
Seite 101 und 102:
Seite 103 und 104:
Alle anzeigen

IEKP-KA/2013-8 - Institut fÃ¼r Experimentelle Kernphysik - KIT

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?