18.09.2013 Aufrufe

Sprachliche Mensch-Maschine-Kommunikation

Sprachliche Mensch-Maschine-Kommunikation

Sprachliche Mensch-Maschine-Kommunikation

MEHR ANZEIGEN
WENIGER ANZEIGEN

Erfolgreiche ePaper selbst erstellen

Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.

428 26. Zusätzliche Modalitäten<br />

0000000000000000<br />

111111111111111100<br />

11<br />

0000000000000000<br />

111111111111111100<br />

11<br />

0000000000000000<br />

111111111111111100<br />

11<br />

Erstes Tippen eines Textes Tippkorrekturen<br />

0000000000000000000<br />

11111111111111111110000000000<br />

1111111111<br />

0000000000<br />

1111111111<br />

0000000000000000000<br />

11111111111111111110000000000<br />

1111111111<br />

Erstes Diktieren eines Textes Gesprochene Korrekturen<br />

0000000000000000000<br />

1111111111111111111<br />

0000000000000000000<br />

1111111111111111111<br />

00000<br />

11111<br />

00000<br />

11111<br />

00000<br />

11111<br />

Erstes Diktieren eines Textes Multimodale<br />

Korrekturen<br />

Abb. 26.3. Zeiten zum Eingeben und Korrigieren eines Textes<br />

26.5 Multimodale Zeitzuordnung<br />

Immer, wenn mehrere <strong>Kommunikation</strong>smodalitäten parallel verwendet<br />

werden, begegnet man der Problematik der Zuordnung von Ereignissen<br />

bzw. Beobachtungen in der einen Modalität mit den Ereignissen und<br />

Beobachtungen in anderen Modalitäten. Wenn z.B. in einem multimodalen<br />

Terminkalender ein Termin verschoben werden soll, indem sein Zeitpunkt<br />

mit dem Stift durch Umkreisen markiert wird, der stattdessen gewünschte<br />

Zeitpunkt danach auch mit einer Schreibgeste markiert wird und während<br />

des Schreibens die Worte ” Verschiebe diesen Termin nach da.“ gesprochen<br />

werden, so bereitet es dem <strong>Mensch</strong>en überhaupt kein Problem, das Ereignis<br />

des Markierens des ursprünglichen Zeitpunkts dem Satzabschnitt ” diesen<br />

Termin“ und das Ereignis des Markierens des neuen Zeitpunktes dem<br />

Zeitabschnitt ” nach da“ zuzuordnen. Dies ist selbst dann noch der Fall,<br />

wenn der zeitliche Versatz der beiden Modalitäten so groß ist, daß zwei nicht<br />

einander zuzuordnende Ereignisse tatsächlich gleichzeitig stattfinden.<br />

Prinzipiell gibt es zwei verschiedene Methoden, dieses Problem zu<br />

lösen. Entweder die beiden Modalitäten werden komplett unabhängig<br />

voneinander erkannt und danach werden die Zustände der erkannten<br />

Zustandsfolgen mit Hilfe von übergeordnetem Wissen einander zugeordnet.<br />

Oder es wird ein Verfahren angewandt, bei dem schon während der<br />

Erkennung beide Modalitäten gleichzeitig in einem Durchlauf abgearbeitet<br />

werden. Die zweite Idee entspricht einem ” mehrdimensionalen“ DTW-<br />

Algorithmus. Wenn zwei Modalitäten mit zwei Hidden-Markov-Modellen<br />

λ1 und λ2 mit den Zuständen S1 = {s11, s1n} und S2 = {s21, s2m} modelliert<br />

werden, dann ist es möglich, einen gemeinsamen Zustandsraum<br />

t

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!