Approximationstheorie

178 8 DER SATZ VON KOLMOGOROFF
Abbildung 8.7: Die Sigmoidfunktion aus (8.20). Durch Umskalierung σ (λ·), λ > 0, kann
man den Steigungsteil natürlich beliebig steil oder flach machen. Obwohl die Funktion nie
exakt die Werte 0 und 1 annimmt, erreicht sie diese aber “praktisch” schon relativ bald.
Wie der Name sagt, stehen Eingabelayer immer am Anfang, Ausgabelayer immer am Ende des
Prozesses. Derartige Layer können nun beliebig baumartig ineinander verschachtelt werden und
führen dann eben zu einem neuronalen Netzwerk 225 .
Die “moderne” numerische Bedeutung des Satzes von Kolmogoroff liegt nun darin, daß
man ihn als einen Darstellungssatz für neuronale Netzwerke interpretieren kann, wobei für j =
0, . . . , 2s zuerst je einen Eingabelayer basierend auf φj verwendet 226 , diese Ausgaben dann
durch jeweils einen einfachen Layer mit Anregungsfunktion g, Gewichten λ1, . . . , λs und nur
einem Ausgabkanal schickt und die Resultate durch ein triviales Ausgabenetzwerk kombinieren
lässt. Trivial bedeutet in diesem Fall, daß alle Gewichte den Wert 1 und die Anregungsfunktion
die Identität ist. Toll – neuronale Netze können also jede Funktion darstellen, aber (zumindest,
wenn man Satz 8.2 verwenden will) in diesem Fall muss eine der Anregungsfunktionen sehr
massiv von der darzustellenden Funktion f abhängen und müsste dann selbst wieder durch ein
geeignetes Teilnetzwerk approximiert werden.
Bleibt noch eine Frage zum Schluss: Wie erstellt man eigentlich generell so ein Netzwerk
in einer Anwendung? Das ist erstaunlich einfach! Man verwendet sogenannte Trainingsdaten
(x j , yj) ∈ R s+1 , belegt die freien Parameter w, also die Gewichte in den einzelnen Layern,
224Wer will kann dies als eine Einführung von projektiven Koordinaten sehen, auch wenn wir hier beim besten
Willen keine projektive Geometrie betreiben.
225Enthält dieses Netzwerk als Graph keine geschlossenen Kreise, dann spricht man von einem Feedworward–
Netzwerk, mit Kreisen kann es noch lustiger werden, denn dann kann sich das Netzwerk ja auch rekursiv selbst
anregen.
226Die φj sind monoton steigende Funktionen von [0, 1] nach [0, 1], wenn man die noch für x < 0 zu 0 und für
x > 1 zu 1 fortsetzt, dann hat man es durchaus mit einer Art Sigmoidfunktion zu tun.