Belegarbeit (.pdf - 2.3 MB) - Technische Universität Dresden

6. TESTS 41
6 Tests
Alle drei Systeme in einem umfassenden Test zu vergleichen ist aufgrund ihrer gravierenden Unterschiede
nicht einfach möglich. Normalerweise müsste man allen drei Erkennern das gleiche Vokabular
vorgeben und sie mit den gleichen Sprachdaten testen. Ein Problem hierbei ist, dass nicht alle drei die
selbe Sprache unterstützen. Durch die großen Unterschiede zwischen verschiedenen Sprachen und ihrer
Repräsentation in den Spracherkennern ist ein einheitliches Vokabular nicht möglich. Auch die Tatsache
das zwei der Systeme nur einzelne Befehlswörter oder Befehlswortgruppen erkennen und eines
auch kontinuierliche Sprache unterstützt erschwert einen gerechten Vergleich. Kontinuierliche Sprache
ist weitaus schwieriger als diskrete Spracheingabe zu erkennen. Zu guter Letzt ist eines der Systeme
sprecherabhängig, was ihm einen Vorteil gegenüber den anderen Systemen verschafft. Trotz dieser Unterschiede
werden hier einige Tests vorgenommen. Mit Hilfe der Testergebnisse sollen zunächst einige
Vorteile und Nachteile der drei Systeme herausgefunden werden. Am Ende sollen, wo dies möglich ist,
auch Vergleiche zwischen den einzelnen Systemen gezogen werden.
6.1 Worterkennungsrate für Sprachsteuerung
Die Worterkennungsrate für jedes System wird mit Hilfe einer der zugehörigen Beispielanwendungen
getestet. Jede Eingabe wird dazu fünf mal wiederholt um die verschiedenen Aussprachegeschwindigkeiten
und Betonungen mit in den Test einfließen zu lassen. An dieser Stelle noch der Hinweis, dass es
sich in diesem Abschnitt eigentlich immer um Befehlswortgruppen und nicht um einzelne Befehlswörter
handelt. Trotzdem wird weiterhin von Worterkennungsrate gesprochen und jede Befehlswortgruppe als
ein einzelnes Wort angesehen.
6.1.1 Sphinx
Um Sphinx zu testen wird die mitgelieferte Sphinx-4 Dialog Demo genutzt. Es handelt sich hierbei um
eine Menüsteuerung. Anstelle eines großen Gesamtvokabulars gehört zu jedem Menüpunkt ein einzelnes
Vokabular. In Tabelle 6.1 ist dargestellt wie viele Einträge zu dem jeweiligen Menüpunkt gehören und