Sprachliche Mensch-Maschine-Kommunikation

19.3 Architekturentwurf 335
Als Kriterien zur Bewertung einer Architekturmodifikation dienen
in der Regel Maße, die basierend auf der Gesamtwahrscheinlichkeit der
Trainingsdaten diejenige Architektur bevorzugen, für die die Gesamtwahrscheinlichkeit
aller Trainingsdaten größer ist. Im folgenden werden solche
Verfahren als ” likelihood-basierte“ Architekturoptimierungen bezeichnet.
Andere Bewertungskriterien sind zum Beispiel solche, die andere prinzipiell
wünschenswerte Eigenschaften berücksichtigen, wie den Informationsgewinn
(das heißt den Entropieverlust), der durch eine Architekturmodifikation
entsteht.
Bei allen likelihood-basierten Optimierungsverfahren besteht die Gefahr
der Überanpassung, wenn versucht wird, die Gesamtwahrscheinlichkeit aller
Trainingsdaten zu optimieren, weil dabei nicht berücksichtigt wird, wie sich
die Architekturmodifikation auf andere, nicht zur Trainingsmenge gehörende
Daten auswirkt.
Das Problem der Überanpassung ist auch bekannt aus der Theorie der
künstlichen neuronalen Netze. Dort beobachtet man den Effekt, wenn ein
neuronales Netz zu viele Epochen auf den Trainingsdaten trainiert wird.
Wenn die Zahl der Parameter des Netzes ausreicht, so fängt es irgendwann
an, die Trainingsdaten ” auswendig“ zu lernen, statt zu lernen, was deren
Struktur ist. Für ungesehene Testdaten wird das im Netz gespeicherte
Weltmodell ab diesem Zeitpunkt immer schlechter. Das Netz verliert an
Generalisierungsfähigkeit. Das Problem wird dadurch gelöst, daß mit Hilfe
einer Kreuzvalidierungsmenge der Zeitpunkt bestimmt wird, ab dem ein
Leistungsabfall auf den Kreuzvalidierungsdaten eintritt. Diese Menge ist
in der Regel eine Teilmenge der zur Verfügung stehenden Trainingsdaten,
die, nachdem sie bestimmt ist, nicht mehr zum Trainieren verwendet wird.
Sobald der Effekt der Überanpassung einsetzt, wird der Trainingsprozeß
abgebrochen.
Die Idee der Verwendung von Kreuzvalidierungsmengen läßt sich auch
auf likelihood-basierte Optimierungsverfahren anwenden, sowohl um zu
entscheiden, ob ein iterativer Optimierungsprozeß fortgeführt werden soll,
als auch um zu bewerten, wie gut eine Architektur- bzw. Parametermodifikation
ist. Die Bewertung einer Modifikation wird so vorgenommen,
daß die Gesamtwahrscheinlichkeit der Kreuzvalidierungsmenge unter der
Bedingung des modifizierten Systems berechnet wird. Wenn nun mehrere
mögliche Systemmodifikationen antizipiert werden, dann sollte diejenige
ausgeführt werden, die den größten Wahrscheinlichkeitsgewinn verspricht.
Bei einem iterativen Optimierungsverfahren sollte das Verfahren so lange
fortgesetzt werden, bis auf der Kreuzvalidierungsmenge kein Gewinn mehr
festzustellen ist. Man sieht leicht ein, daß ohne eine Kreuzvalidierungsmenge
ein Optimierungsverfahren, das die Zahl der Parameter mit jedem Schritt