University of Bielefeld - Faculty of Technology - Artificial Intelligence Group

Multimodale Mensch-Maschine-Kommunikation

Seminar im Hauptstudium, Sommersemester 2003

Termin: Fr. 10-12
Raum: T2-227
Beginn: 25.4.2003
Veranstalter: Bernhard Jung, Alf Kranstedt

Termine
Literatur
Ausarbeitungen

Termine und Literatur als PDF und als PS

Das Gebiet der Mensch-Maschine-Kommunikation beschäftigt sich primär mit der Erarbeitung von Benutzerschnittstellen, die zunehmend von den maschinenorientierten Kommunikationstechniken wie Tastatur und Maus abstrahieren und stattdessen menschliche Kommunikationsformen, insbesondere natürliche Sprache und Gestik, für die Interaktion mit technischen Systemen nutzbar machen. Fragen der Dialogführung stehen dabei genauso im Blickfeld wie die Integration verschiedener Modalitäten der Informationsübetragung (z.B. Sprache, Gestik, Schrift, Bilder, etc.).

In diesem Seminar sollen Grundlagen multimodaler Kommunikation und Ansätze zur technischen Realisierung von Dialogsystemen aufgearbeitet werden. Der Lernstoff wird in Form von ausgearbeiteten Vorträgen vorgestellt und diskutiert.

Termine

Achtung, die Vorträge vom 16.5. bis 13.6. wurden jeweils um eine Woche verschoben, der Termin am 16.5. fällt aus !!!

25.4.2003	Einführung in Multimodale Mensch-Maschine-Schnittstellen und Dialogsysteme Jessica Hummel
9.5.2003	Kommunikations/Interaktionsmodelle Sonja Hunscha Grundlegende Prozesse für die Kommunikation Arnd Scharpegge
16.5.2003	Fällt aus !!!
23.5.2003	Multimodale Eingabe: Verarbeitung gesprochener Sprache Alexander Denecke
30.5.2003	Multimodale Eingabe: Verarbeitung koverbaler Gestik (ICONIC) Dennis Sinder
6.6.2003	Multimodale Präsentation (WIP/PPP, Microsoftagenten) Sascha Schwirtz
13.6.2003	Sprach-Gesten-Produktion (Max) Thomas Holtkötter
20.6.2003	Sprache und Gesichtsanimation: Talking Heads (BALDI) Tobias Paczian
27.6.2003	Dialogführung nach dem ELIZA-Prinzip (Chatterbot, Alice) Jan Steffen
4.7.2003	Agentenbasierte Dialogsteuerung (Folien als PDF) Dozenten
11.7.2003	Embodied Conversational Agents (REA) Nhung Nguyen
18.7.2003	Zukunftsvisionen: Neue Eingabedevices, Wearable Computing Lars Lottemoser
25.7.2003	Abschlußdiskussion

Literatur & Links

Überblicksliteratur

M. McTear: Spoken Dialogue Technology: Enabling the Conversational User Interface, ACM Computer Surveys 34(1), pp90-169, 2002 (Ordner)
M.D. Sadek, R. de Mori: Dialogue systems. In R. de Mori (Ed.):Spoken Dialogues with Computers, Academic Press, London, UK, pp 523-561, 1998 (Über Fernleihe HBZ Nordrhein-Westfalen zu bestellen)
C. Benoit, J.-C. Martin, C. Pelachaud, L. Schomaker, B. Suhm: Audio-visual and Multimodal Speech Systems (Ordner) Download PDF

Kommunikationsmodelle

W. Wahlster: User and Discourse Models for Multimodal Communication. In J.W. Sullivan, S.W. Tyler (Eds.): Intelligent User Interfaces (Handapparat M4-126)
P. Watzlawick, J. Beavin, D. Jackson: Menschliche Kommunikation, Hans Huber, Bern, Göttingen, Toronto, Seattle 1996 (Bib. BO 600 W353 u.a.)
P. Auer: Sprachliche Interaktion. Eine Einführung anhand von 22 Klassikern, Max Niemeyer, Tübingen 1999 (Bib. NA 124.00 A917 Dienstraum 93er)
Hilfreich auch eine Online-Vorlesung des Lehrstuhls für Sprachwissenschaft der Uni Frankfurt zum Thema

Multimodale Eingabe/Verarbeitung

D. Jurafsky, J. Martin: Speech and Language Processing: An Introduction to Natural Language Processing. Prentice Hall, Englewood Cliffs, NJ, 2000 (Bib. HK 634 J95 Semesterapparat FB15 Gibbon)
J. Allen: Natural Language Understanding, Cummings Publishing Company Inc., Redwood, CA, 1995 (Semesterapparat AG-WBS)
G. Görz, C.-R. Rollinger, J. Schneeberger (Hrsg.): Handbuch der künstlichen Intelligenz, Oldenbourg Verlag München Wien, 2000, Kapitel 16 Sprachverarbeitung (Semesterapparat AG-WBS)
R. Dale: Handbook of natural language processing, Dekker, New York 2000 (Bib. NA 186.50 H2N2L Semesterapparat FB15 Rieser)
Bolt, R.A. Put that there: Voice and gesture at the graphics interface. ACM Computer Graphics 14, 3 (1980), 262--270. (Bib., Ordner)
D.B. Koons et al: Integrating Simultaneous Input from Speech, Gaze, and Hand Gesture. In M.T. Maybury (Ed.): Intelligent Multimedia Interfaces (pp. 257-276). Menlo Park (CA): AAAI Press/The MIT Press, 1993 (Bib. HK 545 I6M9I)
C.J. Sparrell, D.B. Koons: Interpretation of Coverbal Depictive Gestures. AAAI Spring Symposium 1994, pp 8-12, Stanford University (Ordner)
A.D. Wexelblat: An Approach to Natural Gesture in Virtual Environments. ACM Transactions on Computer-Human Interaction 2(3), pp 179-200, 1995 (Ordner) Download PDF
Lenzmann, B.: Benutzeradaptive und multimodale Interface-Agenten. Dissertationen zur Künstlichen Intelligenz. Sankt Augustin: Infix, 1998. [Bib.]

Multimodale Ausgabe / Sprach-Gesten-Produktion

W. Wahlster et al: Plan-Based Integration of Natural Language and Graphics Generation. In M.T. Maybury, W. Wahlster (Eds.): Raedings in Intelligent User Interfaces, pp 109-130, Morgan Kaufmann Publishers, San Francisco 1998 (Handapparat M4-126)
E. André, J. Müller, and T. Rist: WIP/PPP: Automatic Generation of Personalized Multimedia Presentations. In ACM Multimedia 96, pages 407-408. ACM Press, November 1996 (Ordner) Download PS gezippt
T. Rist et al: Adding Animated Presentation Agents to the Interface. In: Proceedings of IUI 97: Int. Conference on Intelligent User Interfaces, pp 79-86, Orlando, FL, 1997 (Ordner) Download PS gezippt
Projektseite WIP/PPP
Projektseite Microsoftagenten
J.P. de Ruiter: The production of gesture and speech. In D. McNeill (Ed.): Language and Gesture, pp 284-311, Cambridge University Press, 2000 (Semesterapparat AG-WBS)
S. Kopp: Synthesis and Coordination of Speech and Gesture for Virtual Multimodal Agents. Ph.D. thesis, Faculty of Technology, University of Bielefeld, Germany, 2002 (bei den Veranstaltern)
Projektseite MAX
Arbeiten zu Talking Heads der Haskins Laboratories
Arbeiten der KTH Stockholm zu multimodaler Sprachsynthese und Talking Heads.
Baldi Homepage
Kapitel 'Speech Output with Talking Heads' in C. Benoit et al: Audio-visual and Multimodal Speech Systems (Ordner)

Dialogsteuerung

J. Weizenbaum: ELIZA--A Computer Program For the Study of Natural Language Communication Between Man and Machine. In: Communications of the ACM Volume 9, Number 1 (January 1966): 36-35 (Ordner) Online-Version
Projektseite Alice
Eine umfangreiche Sammlung von Chatterbots
D.R. Traum: Conversational Agency: The TRAINS-93 dialogue manager. In S. Luperfoy, A. Nijholt, G.V. van Zanten (Eds.): Proceedings of the eleventh Twente Workshop on Language Technology (TWLT 11): Dialogue Management in Natural Language Systems, 1996 (Ordner)
Projektseite TRAINS
E. Horvitz. Principles of Mixed-Initiative User Interfaces. Proceedings of CHI '99, ACM SIGCHI Conference on Human Factors in Computing Systems, Pittsburgh, PA, May 1999 (Ordner) Download PDF
E. Horvitz: Uncertainty, Action, and Interaction: In Pursuit of Mixed-Initiative Computing. In: Intelligent Systems, Sept/Oct 1999, IEEE Computer Society, pp 17-20 (Ordner) Download PDF
R. Cohen et al: What is Initiative? In: User Modeling and User-Adapted Interaction, Vol.8(3-4), pp 171-214, 1998 (Ordner)
S.E. Brennan, e.a. Hulteen: Interaction and feedback in a spoken language system: a theoretical framework. In: Knowledge-Based Systems Vol.8 Numbers 2-3 April-June 1995 (Ordner)

Konversationale Agenten

J. Cassel: More Than Just Another Pretty Face: Embodied Conversational Interface Agents. In: Communications of the ACM 43(4), pp 70-78, 2000 (Ordner)
J. Cassell, J. Sullivan, S. Prevost, E. Churchill (Eds.): Embodied Conversational Agents, MIT Press, Cambridge, Massachusetts, 2000 (Bib. HK 648 E5C7A)
Homepage MIT Media Group
Eine wichtige Anwendung sind pädagogische Agenten. Hier ist insbesondere STEVE, entwickelt an der University of Southern California, zu nennen.
Für ganz interessierte noch eine Link-Sammlung zu Virtual Humans von Norman Badler, einem Pionier auf diesem Gebiet.

Zukunftsvisionen

Ein Überblick über wearables des MIT
Arbeiten des European Media Lab

Ausarbeitungen

Jessica Hummel: Spoken Dialogue Systems
Sonja Hunscha: Kommunikations- und Interaktionsmodelle
Alexander Denecke: Multimodale Eingabe: Verarbeitung gesprochener Sprache
Dennis Sinder: Multimodale Eingabe: Verarbeitung koverbaler Gesten
Thomas Holtkötter: Sprach-Gesten-Produktion
Tobias Paczian: Sprache und Gesichtsanimation (Talking Heads)
Jan Steffen: ChatBots: Dialogführung nach dem ELIZA-Prinzip
Nhung Nguyen: Embodied Conversational Agents
Lars Lottermoser: MIThril: Context-aware wearable computing for daily life

Bernhard Jung, Alf Kranstedt, 25.11.2003