Sprachliche Mensch-Maschine-Kommunikation

15.1 Bewertung von Erkennungshypothesen 249
man sagen, daß die Hypothese drei Fehler enthält. Erstens wurde ein ” Ja“
fälschlicherweise eingefügt, zweitens wurde ” Tag“ durch ” Tal“ ersetzt, und
drittens wurde das ” Herr“ ausgelassen. Basierend auf dieser Art der Fehlermessung
kann die Wortfehlerrate WER (word error rate) definiert werden als
WER =
s + d + i
n
· 100%, (15.2)
wobei s die Zahl der Vertauschungen (substitutions), d die Zahl der
Auslassungen (deletions), i die Zahl der Einfügungen (insertions) und n die
Zahl der gesprochenen Wörter ist. Man sieht leicht, daß die Wortfehlerrate
auch über 100% liegen kann, wenn z.B. statt ” Guten Tag Herr Müller“
fälschlicherweise ” Ja Guter Tal der Meier“ erkannt wird. Dann werden bei
vier gesprochenen Wörtern insgesamt fünf Fehler gemacht, also beträgt die
Wortfehlerrate 125%.
Die Messung der Wortfehlerrate erfolgt genau auf die gleiche Art mit
einem Algorithmus des dynamischen Programmierens wie bei der Bestimmung
der minimalen Editierdistanz. Ebenso wie bei der Editierdistanz ist
auch bei der Wortfehlerrate das Minimum nicht eindeutig. So kann stets
die Folge Auslassung/Vertauschung/Einfügung auch interpretiert werden als
Einfügung/Vertauschung/Auslassung mit der gleichen Fehlerzahl.
Neben der Wortfehlerrate wird auch oft die Worterkennungsrate WRR
(word recognition rate oder word accuracy) verwendet. Hier gilt einfach:
WRR = 100% − WER =
n − s − d − i
n
· 100% (15.3)
Die Worterkennungsrate kann durchaus negativ werden, wenn mehr
Fehler gemacht werden, als Wörter gesprochen wurden.
Selten findet man auch Referenzen auf die Wortkorrektrate WCR (word
correct rate)für kontinuierliche Sprache:
WCR =
n − s − d
n
· 100%, (15.4)
die niemals negativ werden kann. In wenigen Fällen ist die Angabe der
WCR sinnvoll. Dieses Maße kann man leicht ad absurdum führen, indem
ein Erkenner, der das gesamte Erkennervokabular vielfach hintereinander
ausgibt, 100% WCR erreichen könnte obwohl er ein Vielfaches der gesprochenen
Wörter an Fehlern gemacht hat.