Sprachliche Mensch-Maschine-Kommunikation

340 19. Parameterraumoptimierung
Beim Umwandeln von Kovarianzmatrizen eines Typs in einen anderen
sollte stets darauf geachtet werden, daß die resultierende Determinante
gleich der ursprünglichen Determinanten ist.
σ1
...σd
Wenn eine diagonale Kovarianzmatrix MD = in eine radiale
σ...σ
MR = umgewandelt wird, dann wird σ definiert als d
i σi.
Dann gilt |MD| = |MR|. Veranschaulicht bedeutet das, daß der Ellipsoid,
der die einfache Kovarianz um den Mittelwert darstellt, umgewandelt wird
in eine Kugel mit gleichem Volumen.
19.4.3 Selektive Radialisierung
Motivation
Der Begriff Radialisierung bezeichne die Umwandlung von diagonalen Kovarianzmatrizen
in radiale, entsprechend der obigen Definition. Ausgehend
davon, daß Fließkommamultiplikationen den größten Teil des Aufwands zur
Berechnung einer multivariaten Normalverteilung darstellen, lohnt es sich,
deren Anzahl zu minimieren. Die Multiplikation mit den Diagonalwerten der
inversen Kovarianzmatrizen stellen auch ca. ein Drittel aller Fließkommaoperationen.
Das heißt, daß durch Radialisierung im günstigsten Fall eine
Zeitersparnis von etwa 30% erwartet werden kann. In der Praxis fällt diese
Zeitersparnis kleiner aus, da die heutigen Rechnerarchitekturen komplizierte
Fließkommaprozessoren besitzen, die mehrere Operationen gleichzeitig bzw.
im sogenannten ” Pipeline-Modus“ durchführen können, was bedeutet, daß
durch Vermeidung von Rechenschritten vor allem eine geringere Auslastung
der Fließkommaprozessoren, aber nur eine kleine Zeitersparnis erreicht wird.
Es lohnt sich aber auch aus anderen Gründen, so viele Kovarianzmatrizen
wie möglich zu radialisieren. Ein Spracherkenner mit 5 000 Codebüchern
zu je 32 48-dimensionalen Normalverteilungen benötigt für seine insgesamt
160 000 Mittelwertsvektoren 7.68 Millionen Parameter. Die gleiche Menge
wird noch einmal für die zugehörigen diagonalen Kovarianzmatrizen
benötigt. Wenn nun jede Matrix mit einem einzigen statt 48 Parametern
darstellbar ist, dann reduziert sich der Gesamtparameterraum von 15.36
Millionen Parametern um 49% auf nur noch 7.84 Millionen.
Durch die Verwendung von radialen Kovarianzmatrizen geht natürlich
Information verloren. Dafür kann aber angenommen werden, daß zumindest
durch die Radialisierung der weniger gut geschätzten Kovarianzmatrizen