Technische Fakultät - AG Wissensbasierte Systeme

Mensch-Maschine-Kommunikation mit Gestik und Sprache

Ipke Wachsmuth

Technische Fakultät
Universität Bielefeld

ipke@techfak.uni-bielefeld.de

Komfortable Schnittstellen der Zukunft werden stark durch die Techniken der Multimedia und Virtual Reality sowie durch intuitive Eingabehilfsmittel, die den Gebrauch natürlicher Ausdrucksformen (direkter Zugriff mit den Händen, Sprache, Gestik, Mimik) erlauben, geprägt sein. Ein Leitziel ist die 'Anthropomorphisierung' von Schnittstellen, also die bessere Anpassung an den Menschen. Neben natürlichsprachlichen Interfaces finden in jüngster Zeit Formen der Mensch-Maschine-Kommunikation mit Gesten große Aufmerksamkeit.

Einfach gesagt sind Gesten Körperbewegungen, die in irgendeiner Form bedeutsame Information übermitteln. In der Forschung zur Gestenerkennung wird u.a. die syntaktische und semantische Struktur von Gestenäußerungen wie auch die signaltechnische Erfassung von Hand- und Körpergesten und ihre Kopplung in Anwendungssysteme untersucht. Eine erste Frage betrifft die Art und Weise, wie die Gestik eines Benutzers erfaßt wird. Hier sind videobasierte Ansätze (Erfassung über eine oder mehrere Kameras) zu unterscheiden von Ansätzen, die Hand-, Arm- und Kopfbewegungen über Sensoren (Daten-Handschuh, Körper-Tracker) ermitteln und derzeit noch Geschwindigkeitsvorteile bieten. Unabhängig davon ist die Frage zu klären, wie die Signalauswertung vorgenommen wird; hier gibt es implizite Ansätze (Hidden-Markov-Modelle oder künstliche neuronale Netze), bei denen alle verwendeten Gesten vorher zu trainieren sind, und explizite (wissensbasierte) Ansätze, die atomare Formelemente der Gestik beschreiben und zu größeren Einheiten zusammensetzen. Bereits recht erfolgreich sind Methoden mit trainierten 'emblematischen' Gesten, deren Bedeutung per Konvention festgelegt ist (wie Gebärdensprachen der Taubstummen oder Zeichensprachen der Kranführer).

Von zunehmenden Anwendungsinteresse sind derzeit 'koverbale' Gesten, also Gesten, die sprachliche Äußerungen mehr oder weniger spontan begleiten, z.B. wenn auf einen Gegenstand gezeigt wird ("dieses Rad") oder eine Drehrichtung ("so herum") signalisiert wird. Als Herausforderung stellt sich dabei die Koordination multimodaler Eingaben, insbesondere die zeitliche Kopplung der beiden Modalitäten natürlicher Sprache und Gestik. Anhaltspunkte ergeben sich durch Forschungsbefunde aus den Humandisziplinen, die zeigen, daß menschliche Kommunikation durch signifikant 'rhythmische' Muster geprägt ist, die als koordinative Strategie des menschlichen Äußerungs- und Wahrnehmungsapparats gedeutet werden. Technische Verfahren müssen das Zeitverhalten schon deshalb erfassen, damit die Integration des Zeichenhaften (z.B. Zeigegeste) mit dem Signalgehalt (z.B. Zeigevektor im Moment der maximalen Gestenexpression) rekonstruiert werden kann.

In dem Bielefelder Projekt SGIM ("Sprach- und Gesten-Interfaces für Multimedia"), das im NRW-Verbund "Die virtuelle Wissensfabrik" angesiedelt ist, liegt der Forschungsschwerpunkt auf der Zusammenführung von gestischer und sprachlicher Kommunikation in einem Szenario des Virtuellen Konstruierens. In unserem Labor werden dazu Stereoprojektionen auf der Großbildwand eingesetzt, die hochaufgelöste räumliche Darstellungen der CAD-Modelle eines Kleinfahrzeugs ("City-Mobil") in realistischer Größe gestatten und die mit Eingabegeräten der Virtuellen Realität (Körper-Tracker, Datenhandschuhe, Spracherkennungssystem) manipuliert werden. Auf einem im DFG-Sonderforschungsbereich 360 entwickelten Simulationssystem, dem "Virtuellen Konstrukteur", wird die Erstellung von Entwurfsvarianten des City-Mobils durch koverbale Gestik gesteuert. Die Erkennung von Zeige- und Rotationsgesten beim Zusammenfügen von Teilen und Baugruppen wird mit Hilfe von Agententechniken vorgenommen. Die parallele Sprachanalyse dient in erster Linie zur Auflösung von Mehrdeutigkeiten des gestischen Eingabekanals.

Vorträge: Koblenz 17-06-98, Böblingen 3-07-98, Freiburg 7-07-98, Herrenberg 1-10-98, Goslar 11-03-99, Tutzing 25-05-99, Hamburg 17-06-99, Sankt Augustin 23-09-99, Bielefeld 26-11-99