IEKP-KA/2013-8 - Institut für Experimentelle Kernphysik - KIT

6.3. Training des neuronalen Netzwerks 57
Minimum der Fehlerfunktion E(w) gefunden ist und damit Over-Training verhindern. Dies
passiert durch die sogenannte BFGS-Methode 7 , die eine schnelle Möglichkeit bietet ein globales
Minimum zu finden [40]. Um dies zu testen, wird das Trainingssample in 10 Teile
geteilt. Jedes dieser Teilsamples wird dann in einer Trainingsprozedur mit den übrigen
neun Teilsamplen, bei gleichen Trainingseinstellungen, als Testsample verwendet. Es wird
getestet ob in einem der 10 Trainingsprozeduren Over-Training stattfindet. Ist dies nicht
der Fall, kann das Netzwerk bei gleichen Trainingseinstellungen mit der gesamten Trainingsauswahl
trainiert werden ohne Over-Training zu riskieren.
Um auf Over-Training zu testen, werden die Verteilungen der Ausgabewerte des neuronalen
Netzwerks für das Test- und das Trainignssample verglichen. Sind die Werte gleich
verteilt, hat kein Over-Training statt gefunden. Man erhält eine Ausgabe wie sie in Abbildung
6.12 dargestellt ist für jede der 10 Trainingsprozeduren. Die Verteilung der Residuen
wird nach
r =
t T raining − t T est
(6.3)
N T est + N T raining
gebildet, wobei t T raining,T est der Ausgabewert des Trainings, bzw. des Testsamples für einen
Bin und N T raining,T est der Inhalt des entsprechenden Bins ist. Die Residuen sollten über
den möglichen Ausgabewerten zufällig verteilt sein und kein Muster aufweisen. Ist dies der
Fall können die Verteilungen als gleich angesehen werden. Das ist, wie in Abbildung 6.12,
für alle Teiltrainings der Fall, so dass man davon ausgehen kann, dass kein Over-Training
stattfindet.
6.3.2. Training mit Gewichten
Eine weitere Möglichkeit das Training des neuronalen Netzwerkes zu optimieren, besteht
in der Verwendung von Gewichten. Diese stellen eine Größe dar, mit der die Bedeutung
eines Ereignisses für das Training beschrieben wird. Jedem Trainingsereignis wird dabei
eine reelle Zahl zwischen 0 und 1 zugeordnet, wobei mit 1 gewichtete Ereignisse besonders
stark in das Training einfließen und mit 0 gewichtete Ereignisse für das Training nicht
beachtet werden. Für die Festlegung der Gewichte wird die Netzwerkausgabe nach einer
Trainingsiteration betrachtet. Die Gewichte werden dann so gesetzt, dass bereits gut eingeordnete
Ereignisse ein geringes Gewicht für das Training erhalten. Falsch eingeordnete
Ereignisse erhalten ein hohes Gewicht. Dazu wird der Ausgabewert t des Netzwerks auf
das Intervall zwischen 0 und 1 transformiert, wobei 1 einem Signal und 0 einem Untergrundereignis
entspricht. Dann werden die Gewichte g linear nach diesem Ausgabewert
mit g Sig = 1 − t für Signalereignisse und g Bkg = t für Untergrundereignisse festgelegt, wie
es in Abbildung 6.13 dargestellt ist. Anschließend kann das Training mit einer gewöhnlichen
Anzahl an Iterationen durchgeführt werden. Um den Ausgabewert des neuronalen
Netzwerkes auch weiterhin als Wahrscheinlichkeit im Sinne der Bayes-Statistik nach Teil
5.3.4 interpretieren zu können, muss eine an das Training anschließende Rückgewichtung
nach
t 1 · t 2
˜t =
(6.4)
t 1 t 2 + (1 − t 1 )(1 − t 2 )
durchgeführt werden, wobei t 1 der Ausgabewert nach einer Trainingsiteration und t 2 den
Ausgabewert nach dem zweiten Training, darstellt. Die Methode Gewichte nach diesem
Vorgehen festzulegen wird als Verstärkung bezeichnet. Der Einfluss der Verstärkung auf die
Protonenunterdrückung der Netzwerke im Bereich 2−5 GV und 5−300 GV ist in Abbildung
6.14 gezeigt. Demnach scheint das Training mit Gewichten für das Netzwerk bei niedrigen
Energien ein Nachteil zu sein und wird daher nicht angewandt. Bei hohen Energien erreicht
man durch das Verstärken einen kleinen Vorteil. Die Schwierigkeit bei der hier vorgestellten
Methode liegt in der Stärke der Netzwerke nach bereits einer Trainingsiteration, so dass
ein Großteil des Trainingssamples zu gering gewichtet wird.
7 Broyden-Fletcher-Goldfarb-Shanno Methode
57