Approximationstheorie

8.4 Neuronale Netze 179
1 2 3 . . . m
ϕ ϕ ϕ . . . ϕ
1 2 3 ... n
Abbildung 8.8: Ein “Layer” eines neuronalen Netzwerkes: Die n Eingangskanäle werden,
jeweils mit zu wählenden Gewichten, in alle Neuronen geführt. Diese Neuronen sind alle
Kopien voneinander, haben also dieselbe Anregungsfunktion
mit meist zufälligen Werten vor und minimiert dann die Abweichung des Netwerkes von den
vorgegebenen Daten:
N
min (fw (xj) − yj)
w
2 .
j=1
Das ist ein nichtlineares Optimierungsproblem und für sowas gibt es Methoden, normalerweise
sogenannte Abstiegsverfahren, siehe beispielsweise [58, 70]. Was ein paar ganz interessante
Bemerkungen hervorruft:
1. Solche nichtlinearen Optimierungsverfahren finden normalerweise nur lokale Minima
und es kann somit nicht garantiert werden, daß das Netzwerk die Parameter wirklich
optimal einstellt.
2. Durch die zufällige Vorbelegung kann es passieren, daß bei verschiedenen “Trainingssitzungen”
dieselben Eingaben zu verschiedenen Resultaten führen.
3. Generell haben neuronale Netzwerke relativ wenige wirklich beweisbare Eigenschaften
und man kann nie wirklich garantieren, daß das Netzwerk für alle Eingabewerte gesicherte
Ergebnisse liefert.
Man kann noch vieles über neuronale Netze erzählen, aber das alles wäre wieder eine ganz
andere Geschichte für sich.