Universität Bielefeld - Technische Fakultät - AG Wissensbasierte Systeme - Situierte Künstliche Kommunikatoren (SFB 360)

B3

Deikon:
Deixis in Konstruktionsdialogen

SFB360 logo

B3 untersucht multimodale Deixis in Konstruktionsdialogen in einem integrierten Zugang, der Empirie, Theorie und Simulation umfasst. Im Zentrum stehen das Zeigen auf Gegenstände und Aggregate sowie einfache Fälle der ikonischen Gestenverwendung im Zusammenspiel mit referierenden Ausdrücken.

Diese werden an empirischen Studien untersucht und nachgewiesen; der Fokus dieser Studien liegt darauf, die zeitlichen Verhältnisse und die Konzeptualisierung des Raums, in dem das Zeigen stattfindet, durch die VPn zu erschließen. Dazu werden die Studien videographiert und in einem Format annotiert, das einerseits den Anschluss an die Simulation erlaubt und andererseits die theoretischen Unterscheidungen respektiert. Im Zuge dieser Studien sollen aus der Literatur bekannte Phänomene hinsichtlich der Wahl referierender Ausdrücke untersucht und bislang nur phänomenal vorzunehmende Unterscheidungen auf eine gesicherte Basis gestellt werden.

Auf Seiten der Theorie werden zwei komplementäre Fälle von referentieller Gestenverwendung unterschieden: Objektzeigen und Restriktorzeigen. Basis für die weitere theoretische Modellierung ist das bestehende Syntax-Semantikinterface mit einer Pragmatik-Schnittstelle. Dieses kann gegenwärtig einfache Aufforderungen erfassen und wird in Richtung dialogue games erweitert. Im interface wird gegenwärtig eine statische kompositorische Semantik verwendet. Diese wird, um die empirischen Phänomene abdecken zu können, in Richtung auf Dynamik und Unterspezifikation erweitert.

Im Bereich Simulation soll neben der Interpretation und Generierung sprachbegleitender Gestik in einer immersiven VR-Umgebung mit einem integrierten virtuellen Kommunikator ein neuer Schwerpunkt auf Planung und Generierung multimodaler (deiktischer) Äußerungen gelegt werden. Unter Berücksichtigung der in den erfahrungswissenschaftlichen Projektteilen erlangten Einsichten werden Techniken entwickelt, die, ausgehend von einer noch zu spezifizierenden abstrakten semantischen Beschreibung der intendierten Äußerung, die automatische situierte Generierung detaillierter Äußerungspläne im Dialog erlauben (für das Teilprojekt B3 wird ein Referenzdialog definiert). Bis zum Abschluss der Implementierung einfacher Dialogfähigkeiten werden im VR-setting Imitationsspiele realisiert, in denen der virtuelle Kommunikator Gesten des menschlichen Instrukteurs unter variierenden Randbedingungen nachahmt.

B3


Projekt Team in der Informatik:
Prof. Dr. Ipke Wachsmuth,
Dipl.-Inf. Alfred Kranstedt

Linguistische Projektpartner:
Prof. Dr. Hannes Rieser,
MA Andy Lücking


Projekt Publikationen:


Alfred Kranstedt, 08.02.2006. last modification: 08.02.2006