Sprachliche Mensch-Maschine-Kommunikation

268 16. Verwendung von Sprachmodellen
wobei pi die vom Sprachmodell vorgegebene Wahrscheinlichkeit für das
i-te Wort wi bei gegebener Historie w1, w2, . . . wi−1 ist.
Ergodische Quellen sind solche, deren Verhalten durch eine unendlich
lange Symbolfolge komplett beschrieben werden kann. Es ist vernünftig
anzunehmen, daß es sich bei einem Sprachproduktionssystem um eine solche
Quelle handelt. Für ergodische Quellen gilt:
1
HE = − lim
n→∞ n log2 P(w1, w2, . . .wn) (16.9)
Da aber niemals eine unendliche Wortfolge zur Verfügung steht, sondern
eine sehr große aber endliche Folge w1, w2, . . . wn, wird die Entropie der
Quelle, die diese Folge produziert approximiert durch:
HE ≈ − 1
n log 2 P(w1, w2, . . .wn) (16.10)
Dieser Wert HE ist ein Maß für die Schwierigkeit einer Spracherkennungsaufgabe
aus linguistischer Sicht (d.h. ohne Berücksichtigung der
akustischen Gegebenheiten). Ein großer Wert bedeutet viel Entropie =
wenig Information = schwierige Aufgabe, ein kleiner Wert bedeutet wenig
Entropie = viel Information = leichte Aufgabe. Der Wert
PP = 2 HE 1 −
= P(w1, w2, . . . wn) n (16.11)
Wäre in einem Sprachmodell über dem Vokabular V jede Wortfolge gleich
wahrscheinlich, so wäre P(w1, w2, . . .wn) = (1/|V |) n und die Perplexität
wäre ((1/|V |) n 1 − ) n = |V |. Das heißt, eine Quelle mit der Entropie PP
enthält den gleichen Informationsgehalt wie eine Quelle, die aus einem
Vokabular der Größe |V | = PP gleichverteilt Wörter emittiert. Eine andere
Veranschaulichung des Perplexitätswertes ist die des geometrischen Mittels
der Zahl der zu jedem Zeitpunkt zu erwartender Wörter:
PP =
1
P(w1, w2, . . . wn) =
n
1
n n
i=1 pi
(16.12)
Aus der Sicht des Spracherkenners bedeutet dies, daß die Aufgabe,
Sprache mit beliebigem Vokabular und einer Perplexität von PP so schwer
zu erkennen ist, wie Sprache mit einem Vokabular der Größe PP und dem
Verzicht auf den Einsatz eines Sprachmodells. Im übrigen gilt: jede von der