Approximationstheorie

8.4 Neuronale Netze 177
w = (w0, . . . , wn) und 224 x = (1, x), denn dann wird (8.18) zu
f(x) = ϕw(x) = ϕ w T x , x ∈ R n . (8.19)
Beispiel 8.14 (Aktivierungsfunktionen) Typische Aktivierungsfunktionen für neuronale Netze
sind
1. ϕ(x) = sgn x, also
ϕw(x) = 1 ⇔ 0 < w T x = w0 +
n
j=1
wj xj ⇔
n
wj xj > −w0,
das Neuron feuert also, wenn das innere Produkt größer als eine Aktivierungsschwelle,
auf englisch Threshold .
2. ϕ : R → [0, 1] strikt monoton steigend, also sozusagen eine kontinuierliche Aktivierung
im Gegensatz zur Sprunfunktion x ↦→ sgn x.
3. Ein konkrete Aktivierungsfunktion von dieser Art ist die Sigmoidfunktion
siehe [3] bzw Abb. 8.7.
σ(x) =
j=1
1
, (8.20)
1 + e−x Ein neuronales Netzwerk besteht nun aus einer beliebigen Anzahl von Lagen, auf Englisch als
Layer bezeichnet, die man erst einmal als Funktionen f : R n → R m bezeichnen könnte. Soweit
ist das nicht spektakulär, aber jeder dieser Layer soll eine einfache Struktur haben und nur
auf einem Neuron beruhen. Und zwar werden alle Eingabedaten gewichtet in Kopien desselben
Neurons geführt, siehe Abb. und die Resultate als Ausgabewerte genommen. Mathematisch ist
so ein Layer also als
ℓ(x) = ϕw(j)(x) : j = 1, . . . , m =
⎡
⎢
⎣
ϕ w(1) T x
.
ϕ w(m) T x
dargestellt. Es gibt zwei spezielle Typen von Layern, nämlich
⎤
⎥
⎦ , w(j) ∈ R n+1 , j = 1, . . . , m,
(8.21)
Eingabelayer, bei denen m = n und w(j)k = δjk ist, wo also alle Eingabekanäle einmal
durchs Neuron gejagt werden und
Ausgabelayer, bei denen m = 1 ist, also einfach die Eingangskanäle gewichtet aufsummiert
und dann durch das Neuron “gefiltert” werden.