Sprachliche Mensch-Maschine-Kommunikation

210 13. Das Trainieren von Spracherkennern
eine Testphase durchgeführt, in der die mittlerweile erreichte Erkennerleistung
gemessen wird. Trainingsphasen können einfache Wiederholungen
des Baum-Welch-Trainings sein, ohne daß dabei der Parameterraum oder
die Daten verändert werden. Sie können aber auch Komplexitätssprünge
enthalten. Solange sich die Qualität verbessert, wird weiter trainiert. Das
Training wird dann beendet, wenn keine Aussicht auf weitere Verbesserungen
zu erwarten sind.
Die regelmäßige Evaluation der Erkennerleistung dient aber nicht
nur dazu, zu bestimmen, wann ein guter Zeitpunkt zum Beenden des
Trainings erreicht wird. Sie dient auch dazu, Entscheidungen zu treffen,
welche von mehreren Varianten der Fortsetzung des Trainingsprozesses
die bessere ist. So kann entschieden werden, ob sich eine Steigerung der
Parameterraumkomplexität lohnt oder ob die Anwendung eines bestimmten
Trainingsparadigmas erfolgversprechend ist.
13.2 Aufteilung der Sprachaufnahmen
Bei den allermeisten Klassifikationsaufgaben empfiehlt es sich, die Klassifikationsleistung
nicht auf den Daten zu messen, die verwendet wurden,
um die Parameter des Klassifikators zu schätzen. Meistens interessiert nur
die Leistung auf ” ungesehenen Daten“, das heißt die Generalisierungsfähigkeit.
Für viele parametrische Klassifikatoren existieren Algorithmen zum
iterativen Schätzen ihrer Parameter. Die Klassifikationsleistung auf den
für die Schätzung der Parameter verwendeten Trainingsdaten wächst mit
jeder Iteration. Dies gilt jedoch nicht für ungesehene Daten (s. Abb. 13.2).
Der Parameter des Schätzers beschreiben die Trainingsdaten immer besser.
Sie stellen ein immer genaueres Modell der Trainingsmenge dar, bis sie
irgendwann die Trainingsdaten quasi ” auswendig lernen“. Dann paßt das
Modell nicht mehr so gut auf die ungesehenen Daten und die Klassifikationsleistung
auf diesen nimmt ab. Dieser Effekt wird als ” Overfitting“ bezeichnet.
Der gleiche Effekt tritt auch ein bei Klassifikatoren mit variabler Anzahl
Parameter auf. Je größer die Zahl der Parameter, umso genauer kann das
Modell die Trainingsdaten modellieren. Eine einfache Manifestation dieses
Effektes kann man bei der Schätzung eines Polynoms, das von einer gegebenen
Menge von Meßwerten möglichst wenig abweichen soll, beobachten.
Wenn man zur Erfassung der Punkte aus Abb. 13.3 ein Polynom
zweiten (a) Grades verwendet wird die Abweichung noch recht groß bleiben,
ein Polynom dritten Grades (b) paßt schon besser. Und bei Verwendung
eines Polynoms siebten (c) Grades können die sechs Trainingsdatenpunkte