Sprachliche Mensch-Maschine-Kommunikation

17.2 Ballung von Kontexten 299
mit Likelihood-Distanz verfolgt das gleiche Ziel, wie das Baum-Welch Trainingsverfahren
für HMMs, nämlich die Maximum-Likelihood Optimierung
der Beobachtungswahrscheinlichkeit aller Trainingsdaten. Die Likelihood-
Distanz zweier Klassen C1 und C2 ist definiert als:
PC1(B1) · PC2(B2)
PC1∪C2(B1 ∪ B2)
(17.5)
wobei PQ(R) die Beobachtungswahrscheinlichkeit der Trainingsdaten R
gemessen mit dem Modell Q ist. Jede Vereinigung zweier Klassen hat eine
Verkleinerung der Beobachtungswahrscheinlichkeit zur Folge. Der Ballungsalgorithmus
mit Likelihood-Distanz sieht also zwei Verteilungen als ähnlich
and, wenn ihre Vereinigung zu einem kleinen Wahrscheinlichkeitsrückgang
führen würde.
17.2.2 Ballungsalgorithmen
Ballungsalgorithmen lassen sich in zwei verschiedene Gruppen einteilen:
agglomerative und divisive. Agglomerative Verfahren beginnen mit vielen
Klassen mir jeweils einzelnen Elementen und vereinigen in jedem Schritt
zwei Klassen zu einer größeren Klasse (s. Abb. 17.5). Divisive Verfahren
beginnen mit einer einzigen Klasse mit allen Elementen und teilen in jedem
Schritt eine Klasse in zwei Unterklassen auf (s. Abb. 17.6).
Abb. 17.5. Agglomerative Ballung