Sprachliche Mensch-Maschine-Kommunikation

26. Zusätzliche Modalitäten
Zweifellos ist die natürliche Sprache in den meisten Fällen die schnellste
Methode, Information aus unserem Bewußtsein in einen Rechner einzugeben.
Es gibt allerdings recht viele Situationen, in denen Sprache entweder
überhaupt nicht verwendet werden kann (unter Wasser, im Theater, Konzert
oder allgemein bei Veranstaltungen, bei denen Stille von den Anwesenden
erwartet wird), und es gibt Situationen, in denen die Kommunikation
per Sprache durch andere Informationsübertragungskanäle unterstützt
werden kann. Wir bezeichnen die unterschiedlichen Informationsübertragungskanäle
üblicherweise als Modalitäten, nicht zu verwechseln mit
dem gleichen Begriff im Zusammenhang mit der modalitätenabhängigen
Modellierung Akustischer Modelle. Kommunikationssysteme, die verschiedene
Kommunikationskanäle unterstützen, werden als multimodale Systeme
bezeichnet. In diesem Kapitel werden einige der wichtigsten Modalitäten und
ihre Kombination mit Spracherkennung zu multimodalen Systemen erläutert.
26.1 Lippenlesen auf Videoaufnahmen
Taube Menschen können oft mit erstaunlicher Genauigkeit Sprache von
den Lippen sprechender Menschen ablesen. Natürlich geht das nicht immer
gut. Es gibt zahlreiche Wortpaare, die nicht anhand der Lippenbewegungen
voneinander unterscheidbar sind. Zum Beispiel ” hart“ und ” Art“. Außerdem
kann man noch relativ verständlich sprechen, ohne dabei die Lippen
nennenswert zu bewegen, wie es viele Bauchredner in Varietes vorführen.
Zum Leidwesen vieler Tauber sprechen viele Nicht-Bauchredner auch so, daß
das Ablesen von den Lippen kaum möglich ist. Aber selbst bei perfekter,
sehr deutlicher Aussprache ist eine Kommunikation nur mit Lippenlesen
sehr schwierig und sehr fehlerbehaftet. Dennoch ist es so, daß das Bild der
Lippen die Erkennung eines dazugehörigen akustischen Signals unterstützen
kann. Dazu gibt es das kognitive Experiment, bei den Menschen eine Video
vorgespielt wird, auf dem das Gesicht einer Person zu sehen ist, die ein
Wort wie zum Beispiel ” Bach“ spricht. Die Tonspur des Videos ist allerdings
ausgetauscht durch eine Aufnahme auf der die Person ” Fach“ spricht. Die zu