Approximationstheorie

176 8 DER SATZ VON KOLMOGOROFF
1. Bei der Konstruktion der φj müssen “kleine Änderungen” an den Werten der Funktionen
vorgenommen werden. In der Praxis heisst dies, daß derartige Änderungen klein genug
sein müssten, um schwierige zu kontrollierenden Anforderungen zu genügen, gleichzeitig
aber dann doch groß genug, um vom Rechner überhaupt wahrgenommmen zu werden.
2. Die numerische Realisierung von reellen Zahlen, die über Q linear unabhängig sind, ist
eigentlich unmöglich, schließlich zahlen sich derartige Zahlen ja einerseits dadurch aus,
daß sie bezüglich jeder Basis eine unendliche und nichtperiodische Entwicklung haben,
andererseits sind sie aber ohnehin eher schlecht durch rationale Zahlen zu approximieren,
siehe [36, 72].
3. Die Funktion g liegt nicht wirklich exakt vor, sondern ist Grenzwert einer Funktionenreihe.
Das ist aber für praktische Zwecke die geringste Einschränkung, denn mehr als
eine Approximation von f durch nomographische Funktionen brauchen wir uns sowieso
nicht einzubilden und die Partialsummen sind ja gute Approximationen, schließlich ist
der Fehler von der Form
g
−
n
k=1
gj
≤
∞
k=n+1
gk ≤ f
∞
k=n+1
µ k−1
s + 1 =
µ n
(s + 1)(1 − µ) f,
was sogar exponentiell gegen Null geht – lineare Konvergenzordnung nennt man sowas,
siehe [69].
8.4 Neuronale Netze
Der Satz von Kolmogoroff hat aufgrund seiner mathematischen Natur allein schon durchaus das
Zeug zum Klassiker aber es gibt darüber hinaus auch noch eine Interpretation im Sinne moderner
numerischer Anwendungen, nämlich der neuronalen Netze. Die Idee des neuronalen Netzes
ist es, die Arbeitsweise der Gehirns zu simulieren und Funktionen aus einfachen Elementen,
eben Neuronen zusammenzusetzen. Ein derartiges Neuron ist eine Funktion f : R n → R der
Form
f(x) = ϕw,w0(x) := ϕ w T n
x + w0 , w ∈ R , w0 ∈ R, (8.18)
wobei ϕ die Anregungsfunktion des Neurons ist. Eine Funktion wie in (8.18) bezeichnet man
auch als Ridge–Funktion und solche Funktionen sind sehr einfach, denn sie sind entlang der
affinenen Hyperebenen
y + w ⊥ , w ⊥ = x ∈ R n : w T x = 0
konstant: Für x ⊥ ∈ w ⊥ ist
f y + x ⊥ = ϕ w T y + x ⊥ T T ⊥ T
+ w0 = ϕ w y + w x + w0 = ϕ w y + w0 = f(y).
Das Konzept des Neurons ist nun, daß die Aktivierungsfunktion als fest angesehen wird und
man nur die Parameter w0 und w variiert. Um die Notation zu vereinfachen setzen wir nun