Sprachliche Mensch-Maschine-Kommunikation

16.4 Perplexität 267
Qualität des Modells verwendet wird. Das Sprachmodell, das weniger Fehler
produziert, würde dann als das bessere angesehen werden. Allerdings hat
man hier drei Probleme: Erstens ist das Durchführen einer Erkennung auf
einer aussagekräftigen Testmenge aufwendig, zweitens hängt die Wortfehlerrate
sehr wesentlich davon ab, wie gut das Sprachmodell zur Testdatenmenge
paßt, und drittens hängt das Ergebnis auch von der Zusammenarbeit des
Sprachmodells und des akustischen Modells ab.
Wenn wir den einen Zweck von Sprachmodellen, nämlich die Vereinfachung
der Erkennungsaufgabe, betrachten, dann ist ein Modell, dessen
Übergangswahrscheinlichkeiten nahezu gleichverteilt sind (s. Abb. 16.1
rechts), deutlich weniger ” nützlich“ als eines, das eine weniger glatte
Verteilung hat (s. Abb. 16.1 links) – vorausgesetzt natürlich, die Wahrscheinlichkeitswerte
sind sinnvoll geschätzt.
wi
0.19
0.22
0.18
0.19
0.22
wi+1,1
wi+1,5
wi+1,2
wi+1,4
wi+1,3
wi
0.55
0.10
0.01
0.05
0.29
wi+1,1
wi+1,5
wi+1,2
wi+1,4
wi+1,3
Abb. 16.1. Sprachmodelle mit wenig (links) und viel (rechts) Informationsgehalt
Ein Sprachmodell mit absolut gleichverteilten Übergangswahrscheinlichkeiten
ist völlig wertlos, es liefert keine Information und könnte auch gleich
ganz weggelassen werden. Ein Maß, das die ” Glattheit“ einer Verteilung
mißt, also die mangelnde Information, ist die Entropie:
H = −
n
pi · log2 pi
i=1
(16.7)
Betrachten wir das Sprachmodell als eine Informationsquelle und jedes
Wort als ein Symbol, das die Quelle zufällig entsprechend der Sprachmodellwahrscheinlichkeiten
emittiert, dann ist die Entropie der Quelle definiert als:
HQ = lim
n→∞ −
n
pi · log2 pi, (16.8)
i=1