Die Gesture & Narrative Language research group des MIT Media Lab beschäftigt sich auf breiter Ebene mit dem Thema Mensch-Maschine-Kommunikation. Unter anderem entwickelt die Forschergruppe um Justine Cassell Agenten, die in der Lage sind eigenständig face-to-face Konversation mit Menschen zu führen.
Ihr Ziel ist eine neue und bessere Form der Mensch-Maschine-Schnittstelle herzustellen, bei der sich der Computer dem Menschen anpaßt und nicht umgekehrt. Für den Benutzer bedeutet dies, daß er nicht länger lernen muß sich mit Eingabegeräten und undurchsichtigen Benutzeroberflächen zurechtzufinden. Er kann dann mit virtuellen Personen ebenso kommunizieren wie mit menschlichen Gegenübern.

Ein erstes Beispiel ist der Prototyp Gandalf, der über Sprache, Gestik, Intonation und Mimik mit dem Benutzer interagiert. Er besitzt ein Gesicht für mimische Ausdrücke, eine Stimme und eine Hand für die Gestik. Gandalf berichtet auf Anfrage über das Sonnensystem, stellt z.B einzelne Planeten vor. Er ist allerdings nicht in der Lage eigenständig Sprache zu generieren, sondern gibt vorgegebene Antworten aus. Vorraussetzung, daß Gandalf auf den Menschen reagiert ist allerdings die Verwendung eines Eye-Trackers und eines Datenhandschuhs.
Gandalfs Wahrnehmungs-, Entscheidung und Verhaltenmodule basieren auf einer Zusammenfassung der aus der psychologischen, linguistischen und kognitiven Literatur bekannten Elemente über menschliche face-to-face Dialoge.
Gandalf enthält 26 Wahrnehmungs-, 35 Entscheidung und 83 Verhaltenmodule. Auch Turn-Taking ist bei Gandalf implementiert. Gandalf zeigt also z.B. aufmerksamkeitsbezeugendes Verhalten durch Blickkontakt und Zuwendung zum Sprecher. Zu Beginn seines Turns wendet er sich vom Sprecher ab und dem Sonnensystem zu und nach Abschluß seiner Ausführungen demonstriert er durch Zuwenden zum Hörer, daß er seinen Turn beendet hat.
Beispielfilme mit Gandalf (Quicktimemovies) findet man auf folgender Seite: http://xenia.media.mit.edu/~kris/thesis.html

Ein zweiter Prototyp der Gesture & Narrative Language research group ist REA The Conversational Humanoid.
REA(Real Estate Agent) ist eine virtuelle Immobilienmaklerin, die den Benutzer Häuser und deren Innenräume vorstellt. REA hat im Gegensatz zu Gandalf einen vollständigen Körper und interagiert mit Benutzer über Sprache, Gestik, Mimik und Blickkontakt. Sie nimmt den Benutzer über Kameras war, Eyetracker oder andere Hilfsmittel auf seiten des Benutzers sind nicht mehr nötig. REA ist in der Lage selbstständig Sprache aus einem vorhanden Lexikon, einer Grammatik und Kontext zu erzeugen. Somit ist es ihr besser möglich als Gandalf auf die Bedürfnisse eines Menschen einzugehen.