Sprachliche Mensch-Maschine-Kommunikation

% Wortfehlerrate
100
60
50
40
30
20
10
6
5
vorgelesene spontane
Sprache Sprache
RM
5000
Wörter
3.1 Geschichte der (D)ARPA Evaluationen 37
Telefonkonversationen
WSJ
20000
Wörter
unbeschränktes
Vokabular
1000Wörter 60000Wörter
Nachrichten
SWB
4
’87 ’88 ’89 ’90 ’91 ’92 ’93 ’94 ’95 ’96 ’97 ’98 ’99 ’00 ’01 ’02 ’03 ’04
BN
Abb. 3.2. Entwicklung der Worterkennungsraten mit der Zeit
STT
Meetings
gehalten werden. Die Größe des Vokabulars wurde mit mindestens 1000
Wörtern veranschlagt, und die Menge der erlaubten Äußerungen wurde
durch eine künstliche Grammatik mit einem mittleren Verzweigungsgrad
von 33 definiert. Die zu entwickelnden Systeme sollten auf einem 100
MIPS Rechner weniger als 10% Fehler machen und dabei nur wenige Male
langsamer als in Echtzeit laufen.
Das erfolgreichste System des SUR Projektes wurde 1976 an der Carnegie
Mellon University in Pittsburgh entwickelt und erfüllte alle Erwartungen.
Bei nur ca. 20 Adaptionssätzen je Sprecher konnte HARPY die Sprache von
fünf Sprechern mit weniger als 5% Fehlern erkennen. Auf einem 4 MIPS
Rechner (einer PDP-10 von digital) lief der Erkenner in ca. 80-facher Echtzeit.
Seit dem SUR Projekt wurden bis heute verschiedene Evaluationen von
Spracherkennern organisiert. Ende der Achtziger und Anfang der Neunziger
war noch die so genannte Resource Management Task der internationale
Standard Benchmark für die Leistungsmessung von Erkennern für sprecherunabhängige
kontinuierliche Sprache. Die Resource Management Task (RM)
bot für das Training der Erkenner mehrere Stunden Sprachaufnahmen von
ca. 80 verschiedenen Sprechern. Ebenso wie im SUR Projekt wurde auch bei
RM eine künstliche Grammatik verwendet die geeignet war, die Kommandos
zu beschreiben, die ein Marineoffizier zur Kontrolle und Steuerung der
weltweiten US-Marineressourcen sprechen sollte. Die Vokabulargröße betrug