Sprachliche Mensch-Maschine-Kommunikation

144 9. Klassifikation und Mustererkennung
sich die beiden Ansätze Gauß- und Laplace-Verteilungen qualitativ kaum.
Wenn im logarithmischen Bereich gerechnet wird, und der Logarithmus
des von der Beobachtung unabhängigen Vorfaktors 1/ (2π) d |Σ| im voraus
berechnet wird, dann besteht auch im Falle der Gauß-Mischverteilungen
die Berechnung der Wahrscheinlichkeit lediglich aus Multiplikationen und
Additionen.
9.2 Der Expectation Maximization Algorithmus
Für das Schätzen der Parameter einer Gauß-Mischverteilung mittels Maximum
Likelihood ist keine analytische Lösung bekannt. Das Problem
liegt darin, daß zwar für eine gegebene Zuordnung von Trainingsmustern
zu Referenzvektoren für jeden Referenzvektor mittels üblicher Maximum-
Likelohood Verfahren das globale Optimum für die Parameter der einzelnen
Gauß-Verteilungen sowie die optimalen Mixturgewichte zu bestimmen
sind. Bei unüberwachtem Lernen ist aber eine solche Zuordnung nicht
gegeben. Statt dessen wird die Zuordnung automatisch berechnet, indem
jeder Trainingsvektor zu jedem Referenzvektor proportional zum Anteil
des Referenzvektorbeitrags zur Gesamtwahrscheinlichkeit zugeordnet wird.
Diese hängt aber wiederum von den Gauß-Parametern ab.
Da eine simultane Optimierung sowohl der Gauß-Parameter und der
Trainingsdatenzuordnung nicht möglich ist, bietet sich ein iteratives Verfahren
an, bei dem in jeder Iteration die eine Parametermenge in Abhängigkeit
von der Einstellung der anderen Parametermenge der vorigen Iteration
optimiert wird. Im Detail sieht dies aus wie folgt:
Bezeichne γtk := E[xt ∈ k], den Erwartungswert dafür, daß der Beispielvektor
xt ∈ R d (aus der Trainingsmenge x1, x2, . . . xT) zu Klasse k, also
zum k-ten Referenzvektor gehört. Somit ist γtk die gewichtete Zuordnung des
Beispielvektors xt zum k-ten Referenzvektor. Wenn µk der k-te Mittelwertsvektor
ist, Σk die Kovarianzmatrix der k-ten Gauß-Verteilung ist und ck das
entsprechende Mixturgewicht ist, dann werden diese Werte ersetzt durch:
¯ck = 1
T
¯µk =
¯Σk =
⊤
t=1
1
t γtk
γtk
1
t γtk
⊤
t1
γtkxt
⊤
γtk(xt − µk)(xt − µk) T
t1
(9.14)
(9.15)
(9.16)