Sprachliche Mensch-Maschine-Kommunikation

26.5 Multimodale Zeitzuordnung 429
S ′ = S1 × S2 = {s11,21, s11,22, . . .s11,2m, . . . s12,21 . . . s1n,2m} als Kreuzprodukt
der beiden Zustandsmengen zu definieren. Die Wahrscheinlichkeit
a ′ 1i,2j,1k,2l für den Übergang von Zustand s1i,2j in den Zustand s1k,2l läßt
sich dann berechnen als das Produkt der Übergangswahrscheinlichkeiten
a1i,1k und a2j,2l berechnen. Abb. 26.4 illustriert die Ausführung eines
zweidimensionalen DTW-Algorithmus.
Distanzfrage
Ziel
Distanzfrage
Start
Ende der
Zeigegeste
Beginn der
Zeigegeste
Wie weit ist es von hier nach da?
Abb. 26.4. mehrdimensionaler DTW Algorithmus
Die Modalität auf der X-Achse kommt von einem Spracherkenner, die Modalität
der Y-Achse kommt von einem Zeigegestenerkenner. Die gemeinsame
Modalität ist auf der Z-Achse aufgetragen. Im angegebenen Beispiel wird ein
DTW-Pfad für das (gemeinsame) Modell einer Distanzabfrage dargestellt.
Eine Distanzabfrage besteht demnach aus den beiden Zuständen Distanzab-
”
frage Start“ und Distansabfrage Ziel“. Während der Spracherkenner durch
”
seine Zustände wie“, weit“, ist“, es“, von“, hier“, nach“ und da“
” ” ” ” ” ” ” ”
geht, durchläuft der Gestikerkenner die Zustände Beginn einer Zeigegeste“
”
und Ende einer Zeigegeste“. Der resultierende DTW-Pfad liefert so auto-
”
matisch die wahrscheinlichkeitstheoretisch optimale Folge von gemeinsamen
” Doppelzuständen“ aus der sich direkt die Zuordnung der Spracherkennerbeobachtungen
zu den Gestikerkennerbeobachtungen extrahieren läßt.