Sprachliche Mensch-Maschine-Kommunikation

298 17. Kontextabhängige akustische Modelle
Gauß-Verteilungen verwendet werden oder wie bei semikontinuierlichen
HMMs nur die diskreten Mixturgewichteverteilungen. Letztere zu den
häufigen Vorgehensweisen, da vor der Ballung von Modellen in der Regel so
viele verschiedene trainiert werden, daß es gar nicht sinnvoll wäre, für jedes
eine eigene Gauß-Mischverteilung mit eigenem Codebuch zu trainieren. Ein
weiterer Vorteil der Verwendung von semikontinuierlichen Modellen liegt
in der einfachen Vereinigung und Disjunktion von Modellklassen. Während
komplette Gauß-Mischverteilungen für die Vereinigung der Klassen C1
und C2 zu C1 ∪ C2 bei bekannten Einzelmodellen nur mit erheblichem
Aufwand neu berechnet werden können, bedeutet die Vereinigung von
diskreten Verteilungen eine einfache gewichtete Addition: Sei fC1 die
diskrete Mixturgewichteverteilung der Klasse C1 und fC2 die diskrete
Mixturgeweichteverteilung der Klasse C2, beide über demselben Codebuch
definiert. Die Klasse C1 habe in den Trainingsdaten n1 Beispiele (nicht zu
verwechseln mit der Zahl ihrer Elemente) und C2 habe n2 Trainingsbeispiele.
Dann berechnet sich die Mixturgewichteverteilung der vereinigten Klasse
C1 ∪ C2 als:
fC1∪C2(i) = 1/(n1 + n2)(n1 · fC1(i) + n2 · fC2(i)) (17.1)
Wenn sich die Modelle also nur in ihren Mixturgewichten unterscheiden,
genügt es auch, nur diese im Ballungsprozeß zu betrachten. Die Entropie der
diskreten Verteilung (Mixturgewichteverteilung) f ist definiert als:
H(f) =
k
f(i)log 2 f(i) (17.2)
i=1
Haben zwei Modellklassen die Verteilungen fC1 und fC2, dann ist die
einfache Entropiedistanz definiert als:
d(C1, C2) = H(fC1∪C2) − H(fC1) − H(fC2) (17.3)
Die gewichtete Entropiedistanz ist:
d(C1, C2) = (n1 + n2) · H(fC1∪C2) − n1 · H(fC1) − n2H(fC2) (17.4)
Jede Vereinigung zweier Klassen in eine hat einen Informationsverlust
zur Folge. Der Ballungsalgorithmus mit Entropiedistanz sieht also zwei
Verteilungen als ähnlich (also ” vereinigungswürdig“) an, wenn ihre Vereinigung
wenig Informationsverlust bedeuten würde. Ein Ballungsalgorithmus