Sprachliche Mensch-Maschine-Kommunikation

19.4 Kompaktifizierung 337
bei der nur die Diagonalelemente ungleich Null sind, kann wesentlich
schneller durchgeführt werden, als wenn alle Matrixelement in die Rechnung
mit einbezogen werden müssen.
Ein weiterer Grund, der für die Verwendung diagonaler Kovarianzmatrizen
spricht, ist die Tatsache, daß viele Dimensionen des Merkmalsraumes in
der Regel gar nicht nennenswert miteinander korreliert sind, insbesondere
dann, wenn Vorverarbeitungsmethoden angewendet werden, die als Seiteneffekt
die Dekorrelation des Merkmalsraumes haben, wie zum Beispiel die
lineare Diskriminanzanalyse (LDA).
Schließlich bleibt noch zu erwähnen, daß zu wenige Trainingsdaten
für volle Kovarianzmatrizen leicht dazu führen können, daß Beinahe-
Singularitäten entstehen, das heißt, daß die Form der Gaußglocke einer
Normalverteilung in einer bestimmten Richtung so spitz ist, daß die berechnete
Wahrscheinlichkeit für Merkmalsvektoren, die in die Mitte der
Gaußglocke fallen, extrem hoch ausfällt, während weiter entfernt liegenden
Vektoren eine extrem niedrige Wahrscheinlichkeit zugewiesen wird. Wenn so
eine beinahe-singuläre Kovarianzmatrix in dem Codebuch eines bestimmten
Modells vorkommt, und ein Merkmalsvektor eines anderen Modells
befindet sich ” zufällig“ innerhalb dieser Beinahe-Singularität, so wird ihm
eine vermutlich wesentlich überhöhte Wahrscheinlichkeit zugewiesen, im
ungünstigen Fall sogar eine wesentlich höhere als diejenige, die ihm vom
Codebuch seines eigenen Modells zugewiesen würde.
Wenn man Viterbi-Pfade analysiert und sich diejenigen genauer ansieht,
die eine verhältnismäßig kleine Gesamtwahrscheinlichkeit haben, dann
findet man oft eine Pfadform, wie sie in Abbildung 19.1 dargestellt ist. Der
durch ausgefüllte Punkte dargestellte Pfad sei der ” korrekte“, bestimmt
zum Beispiel durch einen besseren Erkenner. Der von einem schlechteren
Erkenner gefundene Pfad ist durch die nicht ausgefüllten Markierungen
dargestellt. Der Grund für die Abweichung des schlechten Pfades liegt an
dem mit dem Quadrat markierten Punkt. Man sieht, daß der Pfad davor
sehr steil nach oben steigt, das heißt, er überspringt viele HMM Zustände in
kurzer Zeit, um an dem markierten Punkt anzukommen. Danach bleibt er
lange Zeit im erreichten Zustand, um schließlich wieder mit dem korrekten
Pfad zu verschmelzen. In diesem Fall war die lokale Wahrscheinlichkeit des
quadratisch markierten Punktes so groß, daß dieser unter allen Umständen
in den Pfad mit aufgenommen werden mußte. Wie Überprüfungen in
solchen Fällen ergeben haben, ist oft eine Beinahe-Singularität in einer
Kovarianzmatrix des zugehörigen Modells dafür verantwortlich.
Bei der Verwendung von diagonalen Kovarianzmatrizen sinkt die Wahrscheinlichkeit
des Auftretens von Beinahe-Singularitäten für Modelle mit