Universität Bielefeld Technische Fakultät - AG Wissensbasierte Systeme

Multimodale Interaktion in der Virtuellen Realität
Multimodal Interaction in Virtual Reality

Ipke Wachsmuth

Technische Fakultät
Universität Bielefeld

ipke@techfak.uni-bielefeld.de

Virtuelle Realität oder Virtual Reality (VR) bezeichnet ein neuartiges Kommunikationsmedium, das die unmittelbare Wechselwirkung des Menschen mit rechnergenerierten Darstellungen erlaubt. Es beinhaltet wesentlich die Abkehr von zweidimensionalen, betrachterunabhängigen Bildausgaben zugunsten dreidimensionaler Ausgabeverfahren, die auch Schall und taktile Reize einbeziehen können; statt vor dem Bildschirm zu sitzen treten Anwender mehr oder weniger stark in eine "greifbare" synthetische Welt ein, in der sie sich bewegen und die Wirkungen ihres Tuns unmittelbar erfahren können. Verbunden mit körperlich verankerter Interaktion finden insbesondere gestische Eingaben starkes Interesse. Neben ersten Erfolgen mit kameraerfaßten Handgesten werden für die Verarbeitung schneller und komplexer Hand- Armgesten derzeit noch Daten-Handschuhe und Körper-Tracker eingesetzt; die Auswertung gelingt hier mit wissensbasierten Ansätzen, die atomare Formelemente der Gestik beschreiben und zu größeren Einheiten zusammensetzen. Eine weitere Herausforderung ist die multimodale Integration und wechselseitige Disambiguierung sprachlich-gestischer Eingaben, z.B. wenn auf einen Gegenstand gezeigt ("dieses Rohr") oder eine Drehrichtung ("so herum") signalisiert wird. Der Vortrag erläutert diese Techniken an einem Szenario des virtuellen Konstruierens, das im Labor für Künstliche Intelligenz und Virtuelle Realität an der Universität Bielefeld als Erprobungsdomäne dient.

[Fachbeitrag auf der MC2001; pdf]


< Click picture for short demo, more see VR Lab demo showcase.

English version [slides; pdf]
This contribution reports work carried out in Bielefeld in the context of interacting with virtual reality environments. Three things are important in our work toward incorporating gestures as a useful tool in virtual reality:
- measuring gestures as articulated hand and body movements in the context of speech
- interpreting them by way of classifying features and transducing them to application
commands via a symbolic notation inherited from sign language
- timing gestures in the context of speech in order to establish correspondence between
accented behaviors in both speech and gesture channels

The things we have learned from investigating these issues help us to advance natural interaction with 3D stereographic scenes in a scenario of virtual construction. In the first place we have dealt with pointing and turning, etc. often classified as deictic and mimetic gestures. In the DEIKON project, we have now started to investigate more sophisticated forms of deictics in construction dialogues that include features indicating shape or orientation, which leads us into iconic gesture. Another issue in our work is the synthesis of lifelike gesture from symbolic descriptions for an articulated virtual figure where natural motion and timing are central aspects.

talks given: Würzburg 6-12-99, Erlangen 8-05-2000, Nijmegen 17-08-2000, München 14-12-2000

Ipke Wachsmuth, last updated 2001-05-21