Interaktion mittels Gestik, Animation - Institut für Verteilte Systeme ...

Universität Ulm
Proseminar Virtuelle Präsenz SS05
Bastian Könings
bk8@informatik.uni-ulm.de
Ausarbeitung zum Thema:
Interaktion mittels Gestik,
Animation

Inhaltsverzeichnis:
1. Einleitung: ..................................................................................................................... - 3 -
2. Gestik allgemein............................................................................................................ - 3 -
3. Gestikerkennung............................................................................................................ - 4 -
3.1. Erkennung per Datenhandschuh............................................................................ - 4 -
3.2. Bildbasierte Erkennung......................................................................................... - 4 -
3.2.1. Neuronale Netze zum Erkennen von Handstellungen................................... - 4 -
3.2.2. Kodierung durch Gaborfilterung................................................................... - 5 -
3.2.3. Vor- und Nachteile der bildbasierten Erkennung.......................................... - 7 -
3.2.4. Anwendungsbeispiele.................................................................................... - 7 -
4. Animation von Gesten................................................................................................... - 8 -
4.1. Keyframe-Animationen......................................................................................... - 8 -
4.2. inverse Kinematik ................................................................................................. - 8 -
4.3. Vertex Skinning................................................................................................... - 10 -
4.4. H-Anim Standard ................................................................................................ - 11 -
4.5. Anwendungsbeispiele.......................................................................................... - 12 -
4.5.1. Avatare und NSCs....................................................................................... - 12 -
4.5.2. Virtuelle Assistenten ................................................................................... - 12 -
5. Literaturverzeichnis:.................................................................................................... - 13 -
- 2 -

1. Einleitung:
Mit dieser Arbeit soll ein Überblick über die Bedeutung und Verwendung von Gestik im
Bereich der virtuellen Präsenz vermittelt werden. Die Arbeit ist in drei Hauptkategorien
gegliedert. Die erste Kategorie erläutert den Begriff Gestik im Allgemeinen. Die zweite
Kategorie beschäftigt sich mit Methoden der Gestikerkennung. Zuletzt wird auf die
Gestenanimation eingegangen.
2. Gestik allgemein
Der Begriff Gestik bezeichnet die Gesamtheit aller Gesten. Unter einer Geste versteht man
hauptsächlich nonverbale Kommunikation, bei der vor allem Arme und Hände verwendet
werden. Gestik kann sprachersetzend oder auch sprachbegleitend eingesetzt werden.
Sprachbegleitende Gesten verwendet man alltäglich, oft auch unbewusst. Die wohl größte
Bedeutung der sprachersetzenden Gestik liegt natürlich in der Gebärdensprache.
Alle Gesten lassen sich in 4 große Gestenklassen unterteilen.
1. lexikalische Gesten
Lexikalische Gesten sind erlernte Gesten, wie z.B. das Winken mit der Hand als Zeichen der
Begrüßung. Sie funktionieren wie Wörter einer Lautsprache. Wichtig hierbei ist, dass die
Bedeutung dieser Art von Gesten kulturell abhängig ist. So ist das Kopfschütteln, welches in
Europe ein Zeichen der Ablehnung/Verneinung ist, in Indien ein Zeichen der Zustimmung.
Lexikalische Gesten können also leicht zu Missverständnissen führen. Bei der
Implementierung von Interfaces, die durch Gesten gesteuert werden sollen, ist also auf diese
Tatsache besonders zu achten.
2. deiktische Gesten
Deiktische Gesten sind Zeigegesten. Mit ihnen deutet man auf eine Person oder ein Objekt in
unmittelbarer Nähe. Auch diese Art Gesten sind sehr wichtig für gestikgesteuerte Interfaces,
da sie kulturell unabhängig und besonders intuitiv anwendbar sind.
3. ikonische Gesten
Ikonische Gesten bilden reale Objekte ab. Man formt z.B. mit der Hand einen Ball.
4. koverbale Gesten
Koverbale Gesten sind die sprachbegleitenden Gesten, die Aussagen eines Redners
unterstützen und ihm helfen Emotionen auszudrücken.
Gestik erleichtert und unterstützt die intermenschliche Kommunikation. Daher ist es nahe
liegend auf Grund der intuitiven Verwendung von Gesten, diese auch im Bereich der Mensch-
Maschine Interaktion einzusetzen. In diesem Bereich wird Gestik immer wichtiger. Gerade in
Zeiten, in denen fast jeder Haushalt einen Computer besitzt, wünscht man sich eine möglichst
benutzerfreundliche Handhabung der Geräte. Besonders im Bereich der Navigation in 3D-
Anwendungen wäre Gestik eine wünschenswerte alternative zu Mäusen und anderen
Eingabegeräten, mit denen es nur schwer möglich ist Bewegungen im Raum zu
bewerkstelligen. Für die Mensch-Maschine Interaktion mittels Gesten ist eine zuverlässige
Methode zur Gestikerkennung erforderlich. Auf diesem Bereich besteht großes
- 3 -

Forschungspotential. Es gibt viele verschieden Ansätze um dieses Problem zu meistern. Auf
eine dieser Methoden wird im nächsten Abschnitt eingegangen.
Gestik ist aber nicht nur wichtig für den Interaktionsbereich. Auch bei der Darstellung
virtueller Charaktere wird zunehmend größerer Wert auf Realitätsnähe gelegt. Dazu gehört
selbstverständlich die Umsetzung real wirkender Bewegungen und Gesten. Wie Gesten für
virtuelle Charaktere möglichst realistisch animiert werden können, wird im letzen Abschnitt
erläutern.
3. Gestikerkennung
3.1. Erkennung per Datenhandschuh
Bei der Gestikerkennung unterscheidet man zwischen zwei wesentlichen
Erkennungsmethoden. Die erste ist die Erkennung per Datenhandschuh bzw. per Datenanzug.
Diese Methode ist sehr zuverlässig und liefert sehr genaue Ergebnisse über Positionen und
Bewegungsabläufe. Die Gestikerkennung funktioniert mit dieser Methode daher recht schnell
und unkompliziert. Ein weiterer Vorteil ist die Umgebungsunabhängigkeit. Ein großer
Nachteil hingegen ist, dass ein Datenhandschuh für den Benutzer als äußerst störend und
lästig empfunden wird. Ein Datenhandschuh ist nur in bestimmten Bereichen anwendbar. Für
öffentliche Interfaces ist dieser z.B. undenkbar. Auch die hohen Kosten für präzise Geräte
sprechen gegen diese Erkennungsmethode.
3.2. Bildbasierte Erkennung
Die zweite, wesentlich benutzerfreundlichere Variante zur Gestikerkennung, ist die
Erkennung per Videokamera. Diese bildbasierte Erkennung ist eine Kombination aus
Bildverarbeitung und künstlicher Intelligenz. Es gibt viele verschiedene Ansätze, die auf
dieser Methode aufbauen. Im Folgenden wird anhand des Forschungsprojektes „Visuelle
Zeigegestik für die Mensch-Maschine-Interaktion“ der Universität Bielefeld einer dieser
Ansätze zur bildbasierten Gestikerkennung erläutert. Hierbei geht man davon aus, dass man
nur statische Gesten (postures) erkennen möchte. Die Erkennung von dynamischen Gesten
(gestures) ist wesentlich aufwendiger und bleibt bei dieser Ausführung unbeachtet. Bei der
verwendeten Erkennungsmethode des Projekts kommt die Erkennung von postures hingegen
vieler anderer Methoden ohne jegliche Markierungen der Gelenke aus.
3.2.1. Neuronale Netze zum Erkennen von Handstellungen
Künstliche neuronale Netze dienen dazu dem Computer Fehlertoleranz zu erlauben. Dabei
werden Strukturen und Lernfähigkeit des menschlichen Gehirns in abstrakter Weise auf den
Computer übertragen. Die Mustererkennung ist heutzutage das Hauptanwendungsgebiet
neuronaler Netze. Dazu wird das Netz in einer Lernphase mit Beispielen trainiert um in der
anschließenden Nutzungsphase unbekannte Eingaben durch die trainierten Strukturen
klassifizieren zu können. Eine Programmierung ist daher überflüssig.
Aufgrund der Vielgestaltigkeit des visuellen Erscheinungsbildes menschlicher
Handpositionen sind neuronale Netze besonders gut für die Erkennung von Handgesten
geeignet.
- 4 -

3.2.2. Kodierung durch Gaborfilterung
Um allerdings die gewünschten Informationen für ein neuronales Netz aus einem Bild zu
gewinnen, muss dieses zunächst in ein geeignetes Format kodiert werden. Dies geschieht
durch die Gaborfilterung, bei der einige Bildpunkte (Gaborzentren) ausgewählt werden und in
deren Umgebung die Helligkeiten der einzelnen Bildpunkte mit speziellen
Gewichtungsfaktoren multipliziert und zusammenaddiert werden. Diese Gewichtungsfaktoren
hängen von der relativen Lage jedes einzelnen Bildpunktes zum Filterzentrum ab und lassen
sich als ein zweidimensionales Muster um jedes Gaborzentrum veranschaulichen.
Die aus den jeweiligen Gaborfiltern resultierenden Summen (in Abbildung 1 farbkodiert
dargestellt) bilden die Grundlage für die weitere Verarbeitung durch eine Reihe
nachgeschalteter neuronaler Netze. Diese liefern als Ergebnis einen kleineren Bildausschnitt.
Um nun z.B. eine Fingerspitze erkennen zu können müssen diese Schritte wiederholt werden,
wobei man immer feinere Gaborfilter verwendet. Abbildung 1 zeigt dieses Schema, bei dem
nach dem dritten Durchgang als Ergebnis des letzten neuronalen Netzes die Fingerposition
resultiert.
Abbildung 1: Positionsbestimmung einer Fingerspitze [Q11]
- 5 -

Abbildung 2: typische Fingerstellungen, die durch neuronale Netze erkannt werden können
[Q11]
Für jede Fingerspitze existiert eine separate Verarbeitungskette mehrerer Netze. Die Netze
sind zwar anfangs gleich strukturiert, unterscheiden sich dann aber nach dem Training für
jede einzelne Fingerspitze. Während des Trainings wird eine große Anzahl von
Trainingsbildern abgearbeitet, bei denen die Position der Fingerspitze bekannt ist. Die
Abweichungen die dabei entstehen dienen dazu die Gewichtungsparameter der neuronalen
Netze richtig einzustellen. Die Fehler der einzelnen Netze werden so im Laufe des Trainings
schrittweise verringert.
Um nun z.B. eine Zeigerichtung erkennen zu können, muss man zusätzlich die Position der
Fingerwurzel bestimmen. Dies geschieht ebenfalls wieder durch ein trainiertes neuronales
Netz. Die Verbindungsstrecke der Fingerwurzel mit der Fingerspitze ist dann die gesuchte
Zeigerichtung. (Abbildung 3)
Abbildung 3: Zeigerichtung kann durch 2 trainierte Netze bestimmt werden [Q11]
- 6 -

3.2.3. Vor- und Nachteile der bildbasierten Erkennung
Der Hauptvorteil gegenüber der Gestikerkennung per Datenhandschuh ist ganz klar die
Benutzerfreundlichkeit. Es bedarf keiner lästigen Zusatzausrüstung. Ein weiterer Vorteil ist,
dass diese Methode leicht auf den ganzen Körper erweitert werden kann. Im Vergleich zum
Datenhandschuh ist diese Variante außerdem wesentlich preisgünstiger in der Anschaffung.
Ein großer Nachteil hingegen ist die Umgebungsabhängigkeit. Durch Lichteinstrahlung oder
ungeeignete Hintergründe kann die bildbasierte Erkennung schnell beeinträchtigt werden.
Die Umsetzung ist außerdem recht aufwändig, da zum Teil sehr komplizierte Algorithmen
implementiert werden müssen. Dies wirkt sich negativ auf die Geschwindigkeit aus, mit der
die Gesten erkannt werden können, die zusätzlich noch durch die Bildrate der Kamera
beschränkt ist.
Kontinuierliche Gestikerkennung, also die Erkennung von dynamischen Gesten, ist mit dieser
Methode sehr schwer, denn hierzu ist es notwendig den Start- und Endzeitpunkt der Geste zu
kennen.
3.2.4. Anwendungsbeispiele
1. SIVIT (Siemens Virtual Touchscreen)
SIVIT wurde 1996 entwickelt und bezeichnet den weltweit ersten Computer, der keine Maus,
keine Tastatur und keinen Monitor benötigt. Durch einen Videobeamer kann die
Benutzeroberfläche auf nahezu jede Unterlage projiziert werden. Die Bedienung erfolgt dann
einfach über Zeigegesten, die durch eine Kamera aufgenommen und vom System erkannt
werden. So ist es z.B. möglich Objekte auszuwählen, indem man mit dem Finger auf diesem
kurz verweilt, und es dann durch Handbewegung zu verschieben.
Das System hat großen Nutzen für Parkinson- und Multiple-Sklerose-Patienten.
Bewegungsstörungen sowie das Zittern der Patienten können durch das System ausgeglichen
werden. So wird den Patienten eine Möglichkeit geboten mit einem Computer zu interagieren,
was ihnen mit Tastatur und Maus nicht möglich war. [Q1]
2. 3D-Kiosksystem
Das Kiosksystem wurde 2005 von der Firma Rittal gemeinsam mit dem Frauenhofer Institut
für Nachrichtentechnik entwickelt. Es ist zurzeit das weltweit einzige hochauflösende 3D-
Kiosksystem mit Gestenerkennung. Die angezeigten photorealistischen Objekte können
einfach per Hand gedreht oder verschoben werden. Das System soll zukünftig in Museen,
Flughäfen, Einkaufszentren und Tourismusinformationen zum Einsatz kommen. [Q2]
- 7 -

4. Animation von Gesten
4.1. Keyframe-Animationen
Alle Arten von Animationen lassen sich in drei Kategorien einteilen. Die erste Kategorie
besteht dabei aus vordefinierten Animationen. Diese Art kann durch Motion-Capture-
Verfahren aufgezeichnet oder in 3D-Programmen (wie z.B. Maya) entworfen werden. Die
erste Möglichkeit Animationen dieser Kategorie zu speichern sind Keyframe-Animationen.
Hierbei werden in bestimmten Zeitintervallen Rotationswinkel, Translationswerte und
Skalierungswerte für die Achsen x, y und z gespeichert. Die Rotationen werden dabei in
Eulerwinkeln angegeben. Einen genauen Wert berechnet man beim Abspielen einer
Keyframe-Animation durch eine einfache lineare Interpolation zwischen zwei gespeicherten
Werten. Die zweite Möglichkeit zur Speicherung von vordefinierten Animationen sind
Kurvenformate wie Bézier-Kurven oder B-Splines, die den Verlauf einer Animation anhand
von wenigen Stützstellen beschreiben (Abbildung 4).
Werden Animationen anhand von Stützstellen gespeichert, ist die Berechnung eines Wertes
zwischen zwei Stützstellen aufwendiger, weil anstelle einer linearen Interpolation zwischen
zwei Punkten, ein Punkt auf einer Kurve berechnet werden muss. Der Vorteil von
Kurvenformaten ist, dass eine Interpolation zwischen dem Übergang zweier Animationen
bessere Ergebnisse liefert.
Abbildung 4: Winkeländerungen der x, y und z-Achse eines Knotens beschrieben anhand
von sechs Stützstellen [Q9]
4.2. inverse Kinematik
Die zweite Kategorie von Animationen bilden so genannte prozedurale Systeme, die
Animationen anhand von Algorithmen berechnen. Ein solches prozedurales Verfahren ist
die inverse Kinematik (IK). Unter einer kinematischen Kette versteht man zunächst mehrere
Glieder, die hintereinander durch Gelenke verbunden sind. Dabei beginnt die Kette mit einem
Elternteil, an dem die Kinder anhängen. Bewegt sich das Elternteil so bewegen sich auch die
Kinder. Man unterscheidet zwischen Vorwärtskinematik (Abbildung 5), bei der die
- 8 -

Winkelstellungen der Gelenke (bekannt als Pose) bekannt sind und die Lage des letzten
Gliedes (Endeffektorposition) berechnet wird, und IK (Abbildung 6), bei der die Lage des
letzten Gliedes bekannt ist und die Winkelstellung der Gelenke berechnet wird. Ein
Endeffektor kann beispielsweise eine Fingerspitze sein, mit deren Position die Winkel der
Gelenke des Armes berechnet werden. Aufgrund der vielen Möglichkeiten der Stellung von
Gelenken sind natürlich aussehende Gesten durch IK nur mit hohem Aufwand zu
verwirklichen.
Abbildung 5: Vorwärtskinematik [Q5]
Abbildung 6: Inverse Kinematik [Q5]
Die dritte Kategorie von Animationen verbindet prozedurale Systeme und vorgefertigte
Animationen, um natürlich aussehende Bewegungen umzusetzen, ohne rechenintensive
komplexe Algorithmen zu verwenden.
- 9 -

4.3. Vertex Skinning
Eine weitere Schwierigkeit der Charakteranimation besteht in der Umsetzung der Haut. Es
gibt zwei verschiedene Ansätze. Der einfache Ansatz legt ein Polygonnetz um jeden Knochen
des Skeletts. Somit ist jeder Eckpunkt eines Polygons einem Knochen zugeordnet und folgt
diesem steif bei einer Bewegung. Das Problem bei dieser Methode ist, dass sich in den
Gelenkbereichen unschöne Lücken oder Überschneidungen bilden können. Außerdem wirkt
die Haut sehr statisch.
Damit die Haut also möglichst realistisch wirkt, verwendet man eine andere Methode, auch
bekannt als Vertex Skinning. Hierbei wird ein Polygonnetz über das gesamte Skelett gespannt.
Jeder Eckpunkt eines Polygons (Vertex) wird nun mindestens einem Knochen zugeordnet und
der Einfluss der Knochenstellung auf diesen Eckpunkt mit einem Faktor gewichtet. Der
Faktor 100 würde z.B. bedeuten, dass der Hautpunkt dem Knochen bei einer Bewegung steif
folgen soll. Diese Methode bewirkt, dass sich in den Gelenkbereichen nun die Haut bei einer
Bewegung verformen, also strecken oder zusammenziehen kann. (Abbildung 7)
Abbildung 7: Die Haut passt sich der Armbewegung an
- 10 -

4.4. H-Anim Standard
Die Abkürzung H-Anim Standard steht für Humanoid Animation Working Group Standard
und bezeichnet einen Standard für die Strukturierung, Benennung und Geometriedefinition
virtueller menschlicher Körper. Verwendet wird dieser Standard z.B. in der 3D-
Modellierungssprache X3D (Nachfolger der Virtual Reality Modeling Language, VRML).
Nach dem Standard setzt sich ein humanoid VRML Modell aus folgenden vier
Hauptknotentpyen zusammen (Abbildung 8).
1. Der Humanoid-Knoten stellt den Wurzelknoten dar und darf bei jedem Modell nur
einmal vorkommen.
2. Der Joint-Knoten stellt ein Gelenk dar.
3. Der Segment-Knoten stellt ein Körperteil bzw. einen Knochen dar.
4. Über den Site-Knoten kann ein relativer Ort, z.B. für Endeffektoren oder
Vernküpfungspunkte für Kleidung/Schmuck, definiert werden.
Abbildung 8: Aufbau eines humanoiden VRML-Modells nach H-Anim Spezifikation 1.1 [Q9]
- 11 -

4.5. Anwendungsbeispiele
4.5.1. Avatare und NSCs
Realistisch wirkende virtuelle Charaktere haben natürlich eine besonders große Bedeutung für
virtuelle 3D-Welten. Einerseits gibt es Avatare, die eine 3D-Repräsentation einer realen
Person darstellen und von dieser evtl. direkt gesteuert werden. Andererseits gibt es Nicht
Spieler Charaktere (NSCs), die lediglich dazu dienen eine virtuelle Welt zu beleben. Gerade
bei dieser Art von virtuellen Charakteren ist es wichtig, dass der Computer zufällige
realistische Bewegungen generieren kann. Bei eben dieser Methode spielt besonders die
inverse Kinematik eine große Rolle.
4.5.2. Virtuelle Assistenten
Auch bei virtuellen Assistenten erfreut sich die Charakteranimation immer größerer
Beliebtheit. Das Projekt „Tessa“ stellt z.B. eine große Hilfe für Gehörlose dar. Eine virtuelle
Frau übersetzt dabei gesprochene Worte problemlos in die Gebärdensprache.
Im Bereich der virtuellen Assistenten kann man in Zukunft noch viele Neuerungen erwarten.
- 12 -

5. Literaturverzeichnis:
[Q1] http://w4.siemens.de/FuI/de/archiv/zeitschrift/heft1_98/artikel07/
[Q2] http://presse.rittal.de/Kiosk_3D.html
[Q3] http://www.it.fht-esslingen.de/~schmidt/vorlesungen/vr/seminar/ws9899/kinmodinvkinem.html
[Q4] http://www.blitzbase.de/lexikon/vertexskinning.htm
[Q5] http://medien.informatik.uniulm.de/lehre/courses/ss04/animationsgrundlagen/unterlagen/anim04-09-animation.pdf
[Q6] http://www-vs.informatik.uni-ulm.de/teach/ws03/vp/ausarbeitungen/Gestik_Gromer.pdf
[Q7] http://www-vs.informatik.uniulm.de/teach/ws04/vp/VPS_WS0405_08_VirtCharaktere.pdf
[Q8] http://elefant.khm.de/~actor/projects/making_of/making_of_title.html
[Q9] http://info.bib.fh-giessen.de/opus/volltexte/2004/3159/pdf/Diplomarbeit.pdf
[Q10] http://www.payer.de/kommkulturen/kultur042.htm
[Q11] http://www.uni-bielefeld.de/presse/fomag/uni17_pdf/s20_25.pdf
- 13 -