Sprachliche Mensch-Maschine-Kommunikation

420 26. Zusätzliche Modalitäten
den beiden Wörtern gehörenden Lippenbewegungen sind klar voneinander
zu unterscheiden. Der Anteil der Versuchspersonen, die bei so einem Video
auf die Frage ” Was haben Sie gehört?“ mit ” Bach“, also dem Wort, das
nur visuell aber nicht akustisch zu erkennen war, antworten, ist signifikant
höher als bei einem Experiment, bei dem auch in der Videosequenz ” Fach“
gesprochen wird. Dieses Experiment zeigt, daß Menschen beim Erkennen
von Sprache auch die visuelle Information die vom Sprecher kommt,
nutzen. Dieser Effekt wird nach seinem Entdecker McGurk Effekt genannt [?].
Ein weiteres Beispiel dafür ist die in diesem Zusammenhang gerne
verwendete Cocktail-Party. Wenn viele Menschen in einem Raum gleichzeitig
reden, muß zum Verständnis des Gesprächspartners mehr als nur die Schallwelle
des Sprechers analysiert werden. Weil wir zwei Ohren haben, können
wir eine Art ” Beam-Forming“ machen und uns auf den Schall, der aus einer
bestimmten Richtung kommt, konzentrieren. Der Leser kann sich leicht
davon überzeugen, wie wichtig in so einer Situation zwei Ohren sind, indem
er sich ein Ohr mit der Hand zuhält und dann kaum noch die Position der
einzelnen Sprecher nur mit einem Ohr bestimmen kann. Zusätzlich zu dem
Konzentrieren auf eine bestimmte Richtung der Signalherkunft, kann unser
Gehirn sich auch noch auf bestimmte Frequenzbereiche konzentrieren und
so die Sprache des Gegenüber mehr ” verstärken“ als die anderen Geräusche
im Raum. Und schließlich hilft es auch noch, auf die Mundpartie zu schauen
und die Lippenbewegungen zu verfolgen. So können insbesondere solche
Wörter, die akustisch leicht verwechselbar sind, z.B. ” man“ und ” wann“
besser unterschieden werden.
Viseme sind die optischen Gegenstücke zu den akustischen Phonemen.
Ähnlich wie ein Wort aus mehreren Phonemen zusammengebaut werden
kann, so erscheint es im Videobild als Folge verschiedener Viseme. Die Abbildung
zwischen Phonemen und Visemen ist allerdings nicht bijektiv. So sind
zum Beispiel die Wörter ” Haus“ und ” aus“ zwar akustisch unterscheidbar,
aber nicht auf der Videoaufnahme. Der Fall, daß es verschiedene Viseme für
denselben Laut gibt, ist in natürlicher Sprache praktisch ausgeschlossen und
für das Lippenlesen nicht von Bedeutung.
In den Anfängen des Lippenlesens waren die Anforderungen an die Bildqualität
noch sehr hoch. In [?] wird eine sehr gute Beleuchtung von mehreren
Seiten erwartet. Aus den Aufnahmen wurden bestimmte Eigenschaften der
Lippen gemessen (Höhe, Breite, Umfang, Fläche, usw.). Diese Meßwerte
bildeten einen Merkmalsvektor, der dann mit wortweise abgespeicherten
Mustern mittels DTW verglichen wurde, um so für verschiedene Wörter
Wahrscheinlichkeiten zu berechnen. Der Lippenleser wurde verwendet, um
die akustische Erkennung von isoliert gesprochenen Ziffern und Buchstaben
zu verbessern. Dabei wurden mit Hilfe eines akustischen Erkenners die n