Sprachliche Mensch-Maschine-Kommunikation

216 13. Das Trainieren von Spracherkennern
die einzige – Möglichkeit. Ähnliches gilt für den EM-Algorithmus in Kap. 9.
So werden in der Spracherkennung nicht nur komplett andere Trainingsparadigmen
verwendet, sondern immer wieder auch leichte Abwandlungen der
mathematisch hergeleiteten Methoden, immer auch mit dem Wissen, daß
die zugrundegelegten Modelle eben nur Modelle sind, und zur ” Annäherung
an die Wirklichkeit“ auch Abweichungen von der Mathematik sinnvoll sein
können. Im folgenden werde einige alternative Trainingsmethoden beleuchtet.
13.3.1 Diskriminatives Trainieren
Der EM-Algorithmus ist durch seine auf Maximum-Likelihood Schätzung
basierte Optimierung aus Prinzip nichtdiskriminativ. Das heißt, jeder
Parameter wird allein mit Hilfe der ihm zugeordneten (positiven) Trainingsmuster
aktualisiert, unabhängig von den Parametern anderer Modelle.
Das Ziel diskriminativen Trainings ist jedoch die Parameter so zu schätzen,
daß nicht nur die Beobachtungswahrscheinlichkeit der positiven Beispielmuster
maximiert wird, sondern auch die Wahrscheinlichkeit der negativen
Beispielmuster minimiert wird. Bei Neuronalen Netzen, die mit der Error
Backpropagation Methode trainiert werden, ist es aus mathematischer
Sicht unproblematisch, das Vorzeichen der einzelnen Trainingsschritte
umzudrehen. Aus der Definition der McCullogh-Pitts Neuronen folgt, daß
jede Parameterbelegung wenn auch nicht unbedingt sinnvoll so aber auf
jeden Fall legal ist. Bei Gauß-Mischverteilungen ist dies nicht der Fall. Die
Mixturgewichte müssen Werte zwischen 0 und 1 annehmen. Kovarianzmatrizen
müssen symmetrisch und nichtsingulär sein. Wenn beim Akkumulieren
der Trainingsinformation für dem EM-Algorithmus einzelne Schritte mit
negativem Vorzeichen versehen werden, kann dies dazu führen, daß z.B.
Mixturgewichte negativ werden. Dennoch wurde immer wieder der Versuch
unternommen, auch den EM-Algorithmus so zu modifizieren, daß er die
diskriminative Fähigkeit der Modelle verbessert. Eine Möglichkeit, dies zu
erreichen und dabei die Konsistenz der Parameter zu gewährleisten, besteht
in der gezielten Auswahl der Trainingsmuster.
Der Trainingsprozeß kann so modifiziert werden, daß Muster, die der
Diskriminativität schaden, aus dem Training herausgenommen werden oder
daß Muster, die der Diskriminativität helfen, dem Trainingsalgorithmus
mehrfach präsentiert werden. Welche Muster der Diskriminativität zuträglich
und welche ihr abträglich sind, hängt vom Einzelfall ab. Dabei ist es durchaus
nicht so, daß diejenigen Muster, die in der Nähe der Klassifikationsgrenzen
liegen und somit schwierig zuzuordnen sind, dazu beitragen, diese Grenzen
zu verwischen und somit der Diskriminativität zu schaden. Ganz im Gegenteil:
Diejenigen Muster, die weit weg von Klassifikationsgrenzen liegen,
bewirken als ” Ausreißer“, daß die zu trainierenden Gewichte extreme Werte