Sprachliche Mensch-Maschine-Kommunikation

26.1 Lippenlesen auf Videoaufnahmen 421
besten Hypothesen extrahiert, und unter diesen dann die am besten mit
dem visuellen Erkenner übereinstimmende gewählt. Die Fehlerrate des Akustischen
Erkenners für Buchstaben konnte von 36% auf 34% gesenkt werden.
Die berichtete Fehlerreduktion von 5% auf 0% bei der Ziffernerkennung
berechtigt allerdings zu Zweifeln an der Signifikanz der Testdaten.
Später folgten andere Ansätze, bei denen zum Beispiel der optische
Fluß berechnet und zu Klassifikation benutzt wurde [?]. Erste neuronale
Ansätze wurden von [?] verfolgt. Dabei wurden zunächst nur statische
Grauwertbilder der Lippen verwendet. Erwähnenswert für diese Arbeit
war die Tatsache, daß bei der auch hier vorgenommenen gemeinsamen
Erkennung mit einen zusätzlichen akustischen Erkenner die Gewichtung
der visuellen und akustischen Klassifikatoren auf Basis der Messung des
Signal-Rausch-Abstandes vorgenommen wurde. Das führte dazu, daß bei
stark verrauschten Aufnahmen mehr Wert auf das Videosignal und bei sehr
sauberen Aufnahmen mehr Wert auf das Audiosignal gelegt wurde.
In [?] werden TDNNs [?] verwendet. Allerdings wurden die Lippenbewegungen
nicht mit Hilfe eine Videokamera aufgezeichnet sondern mit Hilfe
von im Gesicht der Sprecher befestigten Sensoren. Die Klassifikation erfolgte
durch Multiplikation der Wahrscheinlichkeiten des akustischen Erkenners
und des TDNNs.
Spätere Arbeiten gehen dazu über kontinuierliche Sprache zu verarbeiten
und dynamische Ansätze zu verfolgen. Die Verwendung neuronaler Netze
hat sich aber zumindest für die Analyse und Vorklassifikation der Videoaufnahmen
gehalten. [?] verwendet MS-TDNNs [?] [?] für die Erkennung
kontinuierlich gesprochener Buchstabiersequenzen. Das Besondere an der
Arbeit ist, daß die gleiche konnektionistische MS-TDNN Architektur sowohl
für die visuelle als auch für die akustische Erkennung verwendet wurde.
Dies erlaubt zahlreiche Freiheiten bei der Entscheidung der Fusion der
Informationsströme. Prinzipiell war es möglich, bei exakt synchronisierten
Daten die Fusion der akustischen und optischen Merkmale schon auf
Signalebene durchzuführen. Allerdings führten die großen Unterschiede in
der Dimensionalität und Informationsgehalt des Videostroms gegenüber dem
Audiostrom zu Schwierigkeiten (das Netz konzentrierte sich fast ausschließlich
auf den Videostrom). Eine Fusion auf höherer Ebene (verdeckte Schicht
des neuronalen Netzes) funktionierte wesentlich besser [?]. Die Fehlerraten
konnten im sprecherabhängigen Fall gegenüber einem rein akustischen
Erkenner auf sauberen Daten um bis zu 40% und bei verrauschten Daten
um über 50% gesenkt werden.