Martin Schierle - Universität Ulm

Hauptseminar Virtuelle Präsenz Universität
Ulm
Mimik
Martin Schierle

Über Mimik
● Kommunikation erfolgt verbal und nonverbal
● Nonverbal : Gestik und Mimik
● Mimik übermittelt unterbewußte Emotionen
● Sprachverstehen ohne Mimik fällt schwer
● Computer sollte Mimik verstehen

● Film
● Computerspiel
● Chatbots
● Avatare
● Video
Einsatzgebiete

Beispiel Half-Life2
● Realistische Mimik durch flexible Gesichtsmuskeln
● Synchronisation zu verschiedenen Sprachen möglich
● 25 verschiedene Gesichtsausdrücke
● Fließende Übergänge der Gesichtsausdrücke

Beispiel Half-Life2

Beispiel Ananova
● Virtueller Nachrichtensprecher
● Seit 2000 „auf Sendung“
● Verliest Nachrichten aus Textdateien
● Mimik wird den Nachrichten angepasst
● Erstellung nach Analyse unzähliger Nachrichtensprecher

Beispiel Ananova

Beispiel Chatbots
● www.chatterboxchallenge.com
● Virtuelle Charaktere
● Zur Belebung in Chats
● Auch als virtuelle Helfer (Autoverkäufer)
● Mimik meist unterentwickelt

Beispiel Chatbots

MPEG4
● Bisher: Blockbasierte Bewegungskompression
● z.B. bei MPEG1 und MPEG2
● Zwischen Schlüsselbildern nur Bewegungen der Blöcke
speichern und übermitteln
● Bei MPEG4: Einzelobjektkodierung

MPEG4
● Einmaliges Speichern von Objekten und Texturen
● Danach Speicherung von :
– Bewegung
– Deformation
– Beleuchtung

MPEG4 – Technik
● Struktur der 3D-Objekte teilweise über VRML
● Baumstruktur
● Baum enthält auch Transformationen, Lichtquellen etc.
● Vordefinierte Baumknoten für Gesichter und Mimik

MPEG4 – Gesichtsanimation
Variante 1:
● Vordefiniertes Modell und vordefinierte Textur
● Weniger Übertragungsaufwand
● Nicht realistisch

MPEG4 – Gesichtsanimation
Variante 2:
● „facial definition points“ (FDP) übertragen
Gesichtsstruktur auf vordefiniertes Modell
● Textur wird auch übertragen
● Realistisch, jedoch nicht ganz exakt

MPEG4 – Gesichtsanimation
Variante 3:
● Exaktes Gesichtsmodell wird erstellt
● Kodierung über VRML in BIFS („binary format for
scenes“)
● Gesichtsausdrücke über FAT („facial animation table“)
und FAP („facial animation parameters“)

MPEG4 - FAP
● Jeder „facial animation parameter“ beschreibt eine
spezielle Bewegung einer Gesichtsregion
● 66 verschiedene FAPs möglich
● Einschränken der FAP-Anzahl zugunsten Bitrate und
Komplexität möglich

MPEG4 - Beispiel

MPEG4 - Beispiel

MPEG4 - Möglichkeiten
● FAPs lassen sich problemlos auf andere Modelle
übertragen, daher Übertragung von Mimik möglich
● Modifikation von Licht/Schatten möglich
● Morphen von Modellen möglich
● Austausch des Hintergrunds möglich

MPEG4 - Beispiele

MPEG4 - Beispiele

MPEG4 - Anwendungen
● Videokonferenzen
● Videotelefonie
● virtuelle Assistenten
● virtuelle Nachrichtensprecher
● Anwendungen auf Handy, PDA etc.