IEKP-KA/2013-8 - Institut für Experimentelle Kernphysik - KIT

42 5. Statistische Methoden
1
0.8
g(y)=
1
1+e
-y
0.6
0.4
0.2
0
-5 -4 -3 -2 -1 0 1 2 3 4 5
y
Abbildung 5.5.: Zeichnung der Sigmoid Funktion nach Formel 5.12.
die das Intervall (−∞, ∞) auf (0, 1) abbildet und für kleine Werte y linear angenährt
werden kann. Die Sigmoid Funktion ist in Abbildung 5.5 dargestellt. Auf die besondere
Bedeutung dieser Funktion als Aktivierungsfunktion wird in Teil 5.3.4 näher eingegangen.
Ein solches Netzwerk mit Aktivierungsfunktion wird als künstliches Neuron bezeichnet.
Die Namensgebung trägt dem biologischen Vorbild auf dem ein solches Netzwerk basiert
Rechnung. Gemeint ist eine Nervenzelle, die im zentralen Nervensystem über Synapsen
mit anderen Nervenzellen verknüpft ist. Die Synapsen entsprechen in diesem Bild den
Gewichten w i , wobei das Gewicht des Bias w 0 einem Schwellwert entspricht, ab dessen
Überschreitung das Neuron aktiv wird ( ”
feuert“).
Mit einem künstlichen Neuron kann bereits eine Trennung einfacher, durch eine Hyperebene
linear trennbarer Populationen, vorgenommen werden. Für nichtlineare und stark korrelierte
Verteilungen ist sowohl das Likelihoodverhältnis, als auch ein einzelnes künstliches
Neuron zur Ausgabe einer Test-Statistik ungeeignet. Ein Beispiel einer solchen Verteilung
im zweidimensionalen Fall ist in Abbildung 5.6 dargestellt. Hier wird augenscheinlich klar,
dass die beiden Populationen H 0 und H 1 nicht durch eine gerade Linie getrennt werden
können.
5.3.2. Multi-Layer-Perzeptron
Um nichtlineare Probleme zu lösen werden Schichten mehrerer künstlicher Neuronen hintereinander
geschaltet. Man spricht dann von einem Multi-Layer-Perzeptron (MLP). In der
ersten Schicht werden die einzelnen n Eingabewerte x i aufgenommen. Die letzte Schicht
besteht aus einem einzelnen Neuron, welches den Ausgabewert y(x) liefert. Dazwischen
befindet sich mindestens eine versteckte Schicht 2 aus k Neuronen, die Eingabewerte gemäß
(
)
n∑
ϕ j (x) = g w j0 + w ji x i (5.13)
für jedes Neuron der versteckten Schicht ϕ j transformiert. w j0 sind die Gewichte des Bias.
Das Ausgabeneuron gibt dann, wie ein einzelnes Neuron mit k Eingangsparametern ϕ j ,
den Ausgabewert entsprechend
⎛
⎞
k∑
y(⃗ϕ) = ˜g ⎝ ˜w 0 + ˜w j ϕ j ⎠ . (5.14)
2 engl.: Hidden layer
i=1
j=1
42