Belegarbeit (.pdf - 2.3 MB) - Technische Universität Dresden

6. TESTS 42
wie hoch die Worterkennungsrate in den einzelnen Menüs ist. Jeder Befehl wurde dazu fünf mal wiederholt.
Außerdem wurden nur ein Teil der möglichen Menüpunkte ausgewählt, die geeignet sind, einen
Überblick zu geben welche Erkennungsraten bei welcher Vokabulargröße zu erwarten sind. Natürlich
Menüpunkt Anzahl richtig nicht verwechselt Worterkennungsrate
der Befehle erkannt erkannt in Prozent
Musik 31 90 24 40 58,06
Anrufe 24 83 10 27 69,17
Spiele 18 62 13 15 68,89
eMail 13 58 3 4 89,23
Hauptmenü 11 43 4 8 78,18
Tabelle 6.1: Worterkennungsrate einiger Menüs der Sphinx-4 Dialog Demo
sind diese Daten mit Vorsicht zu betrachten. Zunächst ist Sphinx für sprecherunabhängiges Erkenner gedacht.
Darum wäre es von Vorteil gewesen noch die Daten von anderen Sprechern zu haben um objektive
Werte zu erhalten. Außerdem versteht dieser Erkenner nur die englische Sprache. Ein Muttersprachler
hätte somit wahrscheinlich noch eine etwas bessere Worterkennungsrate erzielen können. Des weiteren
schient es, als ob der Erkenner besser damit zurecht kommt, wenn man die Pausen zwischen den
einzelnen Wörtern einer Befehlswortgruppe etwas verlängert.
6.1.2 JLab
Im Kapitel 5.3.5 wurden schon einmal Testdaten von JLab gezeigt. Um einen besseren Vergleich mit
Sphinx zu erreichen wurden im einige zusätzliche Vokabulare erstellt. Diese orientieren sich stark an den
Befehlswörterbüchern der Sphinx-4 Dialog Demo. Der Zweck besteht darin, die Befehle in ihrer Länge,
Anzahl und Ähnlichkeit untereinander, denen des Sphinx Tests anzugleichen. So soll trotz der unterschiedlichen
Sprache ein möglichst guter Vergleich zustande kommen. In Tabelle 6.2 werden die Testergebnisse
dargestellt. Auch in diesem Test wurde jeder Befehl fünf mal eingegeben. Der JLab Speech
Server erreicht in fast allen Menügrößen deutlich bessere Erkennungsraten. Diese Werte sind jedoch
nicht vollständig vergleichbar. Die eigenhändig erstellten Vokabulare für JLab sind nicht optimiert. Das
heißt die Rückweisungsschwelle für die einzelnen Befehle ist so gering, das beinahe jede Eingabe am
Ende auch wirklich als ein Befehl erkannt wird. Aus diesem Grund sind auch nur Verwechslungsfehler
in der Tabelle zu finden. Das ist kein Problem wenn man den Erkenner nur einschaltet wenn man auch
wirklich einen Befehl gibt (siehe Abschnitt 2.3.1.1 Push to Talk). Es erschwert aber den Vergleich mit
Sphinx, da dort versucht wird wirklich nur auf echte Befehle zu reagieren.