 |
|
 |
Faculty of Linguistics
and Literature
Faculty of Technology
|
Bielefeld University Faculty of Linguistics and Literature Faculty of Technology |
|
 |
|
Das Graduiertenkolleg "Aufgabenorientierte Kommunikation" führt Kollegiat(inn)en aus zwei Fakultäten zusammen und hat sich zum Ziel gesetzt, in seinem Ausbildungs- und Forschungsprogramm eine enge Verbindung zwischen speziell ausgewählten Bereichen von Linguistik und Informatik herzustellen. Im Zentrum steht dabei das Zusammenwirken von natürlichsprachlicher Kommunikation, Wahrnehmung und Handlung in praktischen Aufgabendomänen.
Das Graduiertenkolleg gliedert sich in zwei Forschungsbereiche, in denen, mit unterschiedlicher Schwerpunktsetzung, aufgabenorientierte Kommunikation unter den Gesichtspunkten der Situiertheit, der Koordination verschiedener Medien der Kommunikation und verschiedener Modi der Interaktion untersucht wird: I. Natürlichsprachliche Handlungssteuerung, II. Multimodale Kommunikation. Forschungsbereich I umfasst Untersuchungen zu natürlichsprachlicher aufgabenorientierter Kommunikation, und zwar in Form von empirischen Studien, Modellierung und Simulation. Der Forschungsbereich II bündelt und erweitert die im vorangegangenen Antrag durchgeführten Arbeiten aus Bereich II (Steuerungsprozesse in der Verarbeitung gesprochener Sprache) und III (kommunizierende Agenten); er integriert Untersuchungen zu gesprochener Sprache (Spontansprache) und zu visueller Kommunikation. Die Untersuchung aufgabenorientierter Kommunikation fokussiert das Zusammenspiel der Modalitäten Sprache, Gestik, Mimik, Augenbewegung und Körperhaltung, dies wird untersucht mit linguistischen und mit informatischen Verfahren der Analyse und der Modellierung. In der Zusammenführung von Doktorand(inn)en aus den genannten Forschungsbereichen wollen die am Graduiertenkolleg beteiligten Hochschullehrer(innen) Doktorand(inn)en fördern, deren Dissertationen interdisziplinär angelegt sind.
Die Rahmenbedingungen, in die das Graduiertenkolleg an der Universität Bielefeld eingebettet ist, bilden eine ausgezeichnete Ausgangsbasis für die gezielte Förderung des wissenschaftlichen Nachwuchses. Das Graduiertenkolleg kann von gemeinsamen Forschungsinteressen in verschiedenen Förderbereichen profitieren; Antragsteller(innen) des Graduiertenkollegs (aus beiden Fakultäten) kooperieren im SFB 360 "Situierte Künstliche Kommunikatoren", und bei weiteren Drittmittelprojekten von BMBF und DFG. Mit dem Graduiertenkolleg soll die Zusammenarbeit in der Lehre, die bereits jetzt durch den gemeinsamen Studienschwerpunkt "Sprachverarbeitung" beider Fakultäten sowie durch gemeinsame Lehrveranstaltungen realisiert wird, weiter ausgebaut und für das Studienprogramm des Graduiertenkollegs genutzt werden.
 home  top |
Das Graduiertenkolleg ist auf einen gemeinsamen Untersuchungsbereich bezogen: die aufgabenorientierte Verbindung von natürlichsprachlicher Kommunikation, Wahrnehmung und Handlung durch natürliche oder künstliche Akteure (multimodale Dialogsysteme). Der Untersuchungsbereich ist in zwei Forschungsbereiche untergliedert:
| I | Natürlichsprachliche Handlungssteuerung, |
| II | Multimodale Kommunikation, |
Im Forschungsbereich I werden aus der Sicht unterschiedlicher linguistischer Teildisziplinen (Psycholinguistik, Computerlinguistik, Pragmatik/Textlinguistik) verschiedene Typen von Bedingungen und Kompetenzen in aufgabenorientierter Kommunikation untersucht:
 |
Verarbeitungsbedingungen multimedial vermittelter Instruktionen und der Erwerb kognitiver Kompetenzen; |
| |
multimodale Deskription aufgabenorientierter Dialoge und die Akquisition kommunikativer Kompetenzen eines künstlichen (anthropomorphen) Agenten; |
In den genannten Bereichen werden neue Aspekte aufgabenorientierter Kommunikation untersucht, wobei jeweils unterschiedliche Medien der Informationsübermittlung im Vordergrund stehen bzw. unterschiedliche Äußerungsmodi eines Interaktionspartners. Untersuchungsergebnisse in diesen Bereichen sind von großer Anwendungsrelevanz für Verfahren optimierter Informationsrepräsentation in verschiedenen Medien sowie zur Unterstützung von aufgabenbezogenen Lern- und Erwerbsprozessen.
Im Forschungsbereich II werden aus Sicht unterschiedlicher Disziplinen in Linguistik (Kommunikationsanalyse, Angewandte Phonetik/Sprachtechnologie) und Informatik (Angewandte Informatik, Neuroinformatik, Sprach- und Bildverarbeitung) Prozesse multimodaler Mensch-Mensch-, bzw. Mensch-Maschine-Kommunikation untersucht und gestaltet. Dabei wird von unterschiedlichen integrativen Konzepten für multimodale Kommunikation ausgegangen:
| |
von einem Gestaltkonzept, das die verschiedenen Signalisierungssysteme integriert; |
| |
von Koordinationskonzepten für parallele Informationsströme in gesprochener Sprache; |
| |
von einem mobilen künstlichen System (Roboter), ausgestatte mit multiplen Kommunikationsmodalitäten. |
In den genannten Bereichen werden neue Aspekte aufgabenorientierter Kommunikation untersucht. Die Darstellungen zeigen, wie Neues an den Grenzen von Disziplinen sich entwickeln kann, so etwa das Forschungsziel, eine Anonymisierung hochsensibler visueller persongeschützter Daten durch Übertragung von Gesichtsausdrücken auf eine Mimik-Figur zu erreichen. Dies würde den Austausch empirisch erhobener multimodaler Daten zu Forschungszwecken erleichtern. Ziel der Projektbereiche ist die Methodenentwicklung in einem interdisziplinären Umfeld, um Aspekte multimodaler Kommunikation für bestimmte Anwendungsfelder (Medizin bzw. Entwicklung von Service-Systemen) zu nutzen.
| home top |
Im Forschungsbereich I "Natürlichsprachliche Handlungssteuerung" wird die Untersuchung der komplexen Zusammenhänge aufgabenorientierter Kommunikation auf spezielle Fragestellungen hin ausgerichtet:
| (1) | Wie werden Informationen verarbeitet, die in Instruktionen über verschiedene Modalitäten (Sprache, Bilder) aufgenommen werden? |
 | |
| (2) | Welche zeitliche Charakteristik haben die kognitiven Prozesse, die der Integration bildlicher und sprachlicher Information zugrund liegen? |
| |
| (3) | Wie sind Verhaltensdeskriptionen situierten Sprachverhaltens durch multimodale Annotationssysteme zu erstellen? |
| |
| (4) | Welche Granularität der Beschreibung der einzelnen sprachlichen und nicht-sprachlichen Ebenen ist erforderlich? |
Diese Fragestellungen zeigen zum einen, dass aufgabenorientierte Kommunikation nicht nur unter dem Aspekt der Situiertheit sprachlicher Äußerungen untersucht wird, sondern auch unter dem Aspekt, wie verschiedene Modi der Kommunikation (Sprache und Wahrnehmung bzw. Sprache, Wahrnehmung und Handlung) miteinander verknüpft sind und interagieren. Diese Fragestellungen zeigen zum anderen, dass die Projektbereiche auf vielfältige Weise verbunden sind, sei es durch die Ähnlichkeit, sei es durch die Komplementarität der Fragestellungen. Untersucht wird: die Situiertheit sprachlicher Äußerungen aus der Perspektive der Rezeption und/oder der Produktion; die multimediale Verarbeitung von Information bzw. die Kooperation unter der Bedingung der Nutzung multimedialer Informationsträger; das Zusammenwirken von Sprache und Bild bzw. das Zusammenwirken von Sprache, Wahrnehmung und Handlung. Das Handeln besteht in der Ausführung praktischer Tätigkeiten (z. B. in Instruktionen) bzw. in der Koordination von Planungs- und Formulierungsprozessen. Das Verhalten eines Akteurs/eines (autonomen) Systems steht im Mittelpunkt oder die Kooperation mehrerer Akteure mit unterschiedlichen Kompetenzen. Den gesamten Fragestellungen soll in Arbeiten nachgegangen werden, in denen theoretische, empirische, experimentelle und simulative Untersuchungsverfahren sich ergänzen können.
Der Forschungsbereich I "Natürlichsprachliche Handlungssteuerung" ist in zwei Projektbereiche unterteilt:
| home top |
Forschungsschwerpunkt im Projektbereich I-A sind die multimedial-bedingten Prozesse bei der kognitiven Verarbeitung von Instruktionen. Dabei interessieren sowohl der ontogenetische und aktualgenetische Erwerb von Wissen über Sprache-Raum-Relationen als auch die Prozesse der lexikalischen und inferenziellen Verarbeitung, die dabei ablaufen. Weiterhin wichtige Untersuchungsgegenstände werden die konzeptuellen und referenziellen Grundlagen des dabei aktivierten Wissens sein.
Die geplanten Einzelvorhaben sollen methodisch so umgesetzt werden, dass sich theoretische, experimentelle und simulative Untersuchungen im Rahmen der experimentell-simulativen Methode ergänzen und zu einer neuen Qualität der Methodologie in der Kognitionswissenschaft beitragen. Zusätzlich können Fallstudien Detailinformationen über die Interaktion der verschiedenen Teilkomponenten liefern.
| home top |
Im Projektbereich I-B werden Arbeiten der bisherigen Projektbereiche 'Sensomotorische Aspekte der Instruktionsverarbeitung' und 'Bedeutungskonstitution in situierten Systemen' weitergeführt, mit einer spezifischen Schwerpunktsetzung: Multimodale Annotationssysteme. Sie sind z.Z. ein aktiver Forschungsbereich. Die hier besonders zu untersuchenden Aspekte betreffen: die Nutzung multimodaler Annotationssysteme für Verhaltensdeskriptionen von aufgabenorientierter Kommunikation, die XML-basierte Formalisierung multimodaler Annotationssysteme sowie deren Nutzung für Steuerungssysteme künstlicher kommunizierender Systeme (anthropomorphe Agenten, kommunizierende Roboter). Die Entwicklung künstlicher Systeme ist einerseits ein konstruktiver Weg, um natürliche Sprache von ihrer primären Verwendungsweise her, ausgehend von der sensomotorischen und der perzeptiven Verankerung sowie aufgabenbezogen, zu untersuchen. Die Entwicklung künstlicher Akteure erlaubt es andererseits, neue Formen der Mensch-Maschine-Interaktion zu entwickeln.
| home top |
Der Forschungsbereich II ist auf Untersuchungen zu multimodaler Kommunikation ausgerichtet. Im Fokus steht dabei:
| |
die integrative Bedeutungskonstitution und die Rolle sprachlicher und körperlicher Aktivitäten bei der Äußerungsproduktion und -interpretation, |
| |
die Koordination paralleler Informationsströme bei gesprochener Sprache und die Verbindung lokutiver, prosodischer und paralinguistischer Information, |
| |
die Nutzung multipler Modalitäten bei der Entwicklung multimodaler Mensch-Maschine-Dialoge. |
| home top |
Der Projektbereich 'Integrative Bedeutungskonstitution Körper und Sprache' untersucht das Zusammenspiel von sprachlichen und körperlichen Aktivitäten bei der Produktion von Äußerungen und im Hinblick auf die Orientierung der Hörer bei der Herstellung einer präferierten Interpretation der Äußerungsbedeutung. Dabei soll u.a. mit dem Gestaltkonzept gearbeitet werden, das nicht verschiedene unabhängige Signalisierungssysteme (wie sie z.B. von der klassischen Unterscheidung von verbaler und non-verbaler Ebene nahegelegt werden) in face-to-face-Kommunikation unterstellt, sondern deren Gesamtleistung fokussiert. Untersucht werden sollen verschiedene Formen von Anamnese- und Therapiegesprächen im Hinblick auf die Darstellung und Bewertung von Krankheitssymptomen und -erlebnissen und unter dem Gesichtspunkt der Darstellung von Dissens und Konsens. Ziel ist die Ermittlung der Gestaltungsmethoden für schwer konzeptualisierbare Beschwerden und Krankheitserlebnisse, die sich in spezifischen Formulierungshemmungen und/oder -Anstrengungen manifestieren. Anwendungsaspekte betreffen die Krankheitsdiagnose und die kritische Analyse kommunikativen Verhaltens im Hinblick auf Kommunikationstraining.
| home top |
Gesprochene Sprache wird auch heute noch meistens als Abfolge kategorialer Einheiten modelliert. In diesem Teilbereich des Graduiertenkollegs wird im Gegensatz dazu eine Fragestellung weiterentwickelt, die auch schon in bisherigen Dissertationen des Kollegs bearbeitet wurde: die Parallelität der Informationsströme in gesprochener Sprache, ihre Repräsentation und ihre Verarbeitungsprinzipien. Insbesondere geht es um synchrone und asynchrone Aspekte der Koordination dieser Systeme und um die Markiertheitsrelationen zwischen den semiotischen Funktionen der quasi-autonomen Ströme. Im Zentrum des Interesses stehen dabei die parallelen Informationsströme gesprochener Sprache, sowohl auf der Seite der sprachlichen Formen (lokutive Informationen sowie prosodische und paralinguistische Informationen) als auch der parallelen Inhaltsströme, die diese Bereiche zum Teil gemeinsam haben, die aber zum Teil komplementär oder autonom sind.
Hierzu werden zum einen corpuslinguistische Methoden eingesetzt, die die Grundlage quantitativ validierter Simulationen bilden. Zum anderen sollen aber auch Methoden zur parametrischen Beschreibung und Modellierung der betrachteten Phänomene Anwendung finden und in Bezug auf die Verarbeitung paralleler Informationsströme erweitert werden.
| home top |
In den vergangenen Jahren hat die Zahl einfacher kommerzieller Systeme zur Mensch-Maschine-Kommunikation beständig zugenommen. Das größte Hindernis für die massive Verbreitung solcher Systeme im alltäglichen Leben ist jedoch weiterhin der Mangel an effektiven, effizienten und ergonomischen Benutzerschnittstellen. Für die Benutzerakzeptanz solcher Systeme ist die natürliche Bedienbarkeit aber unabdingbar, da weder die Zeit noch der Wille für langwierige Schulungen vorhanden ist. Da die gewohnte zwischenmenschliche Kommunikation sich nicht nur auf eine Modalität wie Sprache, Gestik oder Mimik beschränkt, sondern im gemeinsamen Zusammenspiel erst ihre volle Funktionalität und Natürlichkeit erreicht, ist es erstrebenswert, diese Kommunikationsform auch für die Mensch-Maschine-Interaktion einzusetzen. Um diesem globalen Ziel ein Stück näher zu kommen, werden in diesem Forschungsbereich unterschiedliche Aspekte multimodaler Kommunikation näher untersucht.
Die natürlichsprachliche Steuerung mobiler Roboter stellt hohe Anforderungen an die Flexibilität des zugrunde liegenden Dialogsystems. Zum einen gilt es unterschiedliche Modalitäten des menschlichen Benutzers wie Sprache, Mimik, Augenbewegungen, Körperhaltung und Gestik zu integrieren, um eine vollständige Interpretation der Benutzerintention zu erhalten. Darüber hinaus vergrößert die Natürlichkeit des zulässigen Kommunikationsverhaltens entscheidend die Benutzerakzeptanz solcher Systeme, da keine künstlichen Restriktionen zu befolgen sind. Außerdem verlangt die Mobilität des Systems eine flexible Systemreaktion, um möglichst schnell in die Handlung eingreifen zu können. Bisherige Dialogsysteme erlauben es der Benutzer(in) zum Beispiel meist nicht, die Ausführungen des Systems zu unterbrechen oder einen aktuellen Arbeitsschritt, der gerade vom System ausgeführt wird, anzuhalten. Ein weiterer wichtiger Aspekt ist der Einsatz multipler Modalitäten, um auch die Rückmeldungen des Roboters natürlich und effizient zu gestalten. Mit Hilfe einer Mimikfigur, die einfache mimische und gestische Ausdrucksmöglichkeiten besitzt, kann eine hohe Informationsdichte erreicht werden. So lassen sich Aufmerksamkeit, Unverständnis oder Betriebsamkeit relativ einfach durch diese non-verbalen Kommunikationsmittel ausdrücken.
| home top |
Die Promotionen im Rahmen des Graduiertenkollegs sind auf ein interdisziplinäres Forschungsprogramm bezogen, für das folgendes charakteristisch ist: zugrundegelegt werden Szenarien aufgabenorientierter Kommunikation, in erster Linie die sprachliche Steuerung praktischer Tätigkeiten. Aspekte eines Szenarios sind Gegenstand unterschiedlicher Untersuchungsebenen und Schwerpunktsetzungen. Diese Schwerpunkte beziehen sich auf:
| |
Eigenschaften natürlichsprachlicher aufgabenorientierter Kommunikation, d.h. Strukturregularitäten, kognitive Verarbeitung, Inferenzprozesse, situative Verankerung, Handlungssteuerung; |
| |
Eigenschaften gesprochener Sprache bzw. von Verarbeitungssystemen gesprochener Sprache, d.h. Bewertung von Erkennungshypothesen, Nutzung linguistischer und aufgabenspezifischer Restriktionen zur Suchraumeinschränkung, Robustheit, Realzeitverarbeitung; Integration von Sprach- und Bildverarbeitung; |
| |
Eigenschaften interagierender multimodaler Mensch-Maschine-Systeme. |
| home top |
Das Studienprogramm besteht im wesentlichen aus den folgenden forschungsbegleitenden Veranstaltungen:
| 1. | Ringvorlesung In der Ringvorlesung (2 SWS), die von den Antragsteller(inne)n bestritten wird, sollen die verschiedenen Arbeitsgebiete des GK dargestellt und die vielfältigen Verbindungen zwischen Linguistik und Informatik aufgezeigt werden. |
||||
| |||||
| 2. | Kurse Zu den forschungsbegleitenden Veranstaltungen gehören Kurse (2 SWS), die von Hochschullehrer(inne)n des Graduiertenkollegs und Gastforscher(inne)n in einem Semester angeboten werden und die Projektbereiche des Kollegs bzw. übergreifende Themenstellungen zum Inhalt haben. Es werden zwei Typen von Kursen angeboten, die auf die Themenbereiche des Graduiertenkollegs bezogen sind,
|
||||
| |||||
| 3. | Seminare Die Kollegiat(inn)en sollen ein Seminar (2 SWS) zu aktuellen Fragen der Forschung selbst organisieren und durchführen. In diesem Rahmen werden Gäste eingeladen, die an den betreffenden Seminartagen auch zu intensiven Gesprächen und Diskussionen zur Verfügung stehen. Damit soll das Ziel erreicht werden, Kontakte zu führenden Arbeitsgruppen in den relevanten Gebieten herzustellen. |
||||
| |||||
| 4. | Forschungskolloquien Das Forschungskolloquium (2 SWS) wird gestaltet durch Beiträge der das Kolleg tragenden Hochschullehrer(innen), Gastforscher(innen) und Kollegiat(inn)en. Im ersten Semester des Kollegs präsentieren die Antragsteller(innen) ihre Projektbereiche und deren Rolle im Forschungsprogramm des Kollegs. Herausgestellt werden dabei u.a. Vergleichbarkeit bzw. Komplementarität der Untersuchungsbereiche, Theorieansätze und Methoden, bezogen auf spezifische Szenarien. In den folgenden Semestern präsentieren Kollegiat(inn)en Arbeiten aus ihren Dissertationsvorhaben. Dazu kommen eingeladene Vorträge externer Wissenschaftler(innen) und Gastforscher(innen), deren Beiträge zum Forschungsprogramm und den Dissertationsvorhaben in einem inhaltlichen Zusammenhang stehen. |
||||
| |||||
| 5. | Klausurtagungen Hierunter sind ein- bis zweitägige Veranstaltungen zu verstehen, an denen nur die Graduierten und die das Graduiertenkolleg tragenden Hochschullehrer(innen) teilnehmen. Eine solche Veranstaltung dient der intensiven Diskussion der Dissertationsvorhaben in einem informellen Rahmen außerhalb der Universität. Sie findet mindestens einmal im Jahr statt, erstmals gleich zu Beginn des Graduiertenkollegs. |
||||
| |||||
| 6. | Workshops Im Rahmen einer dreijährigen Laufzeit des Kollegs werden zwei Workshops durchgeführt, der erste am Ende des ersten bzw. am Anfang des zweiten Jahres und der zweite am Ende des zweiten bzw. am Anfang des dritten Jahres. Der erste wird von den Hochschullehrer(inne)n des Kollegs und von externen Vortragenden ausgerichtet, der zweite von den Kollegiat(inn)en, die die erzielten Ergebnisse ihrer Arbeiten vor einem Forscherforum vortragen. |
Die Struktur des Studienprogramms stellt sich wie folgt dar:
| 1. Semester | Kolloquium | Kurs 1 | Klausurtagung | |
| 2. Semester | Ringvorlesung | Kurs 2 | Seminar | |
| 3. Semester | Kolloquium | Kurs 3 | Workshop | Klausurtagung |
| 4. Semester | Ringvorlesung | Kurs 4 | Seminar | |
| 5. Semester | Kolloquium | Klausurtagung | ||
| 6. Semester | Workshop |
Die einzelnen Kurse beinhalten folgende Thematik:
| Kurs 1: | Aufgabenbezogene Kommunikation: Typen von Empirie und Theorie (je ein(e) Antragsteller(in) aus den zwei Forschungsbereichen) |
| |
| Kurs 2: | Sprachliche, perzeptive und senso-motorische Informationsverarbeitung/Informationserzeugung und Modi der Integration (je ein(e) Antragsteller(in) aus den zwei Forschungsbereichen) |
| |
| Kurs 3: | Kommunikation und Emotion (je ein(e) Antragsteller(in) aus den zwei Forschungsbereichen) |
| |
| Kurs 4: | Multimodalität: Repräsentationsebenen (Signale, Gestalten, Symbole) und Annotationssysteme (je ein(e) Antragsteller(in) aus den zwei Forschungsbereichen) |
Liste der forschungsspezifischen Kurse (nach Forschungsbereichen):
| |
Multimodale Sprachverarbeitung (Rickheit, Strohner) |
| |
Konnektionistische Modelle von Sprache (Eikmeyer) |
| |
Sprachproduktion und -rezeption (Eikmeyer, Rickheit, Strohner) |
| |
Textkodierungsverfahren und Editoren für multimodale Annotationen (Metzing/Milde) |
| |
Verhaltensdeskriptionen und Zeitrepräsentationen (Milde/Metzing) |
| |
Texttechnologische Grundlagen zur Integration multimodaler Daten (Milde/Metzing) |
| |
|
| |
Arzt-Patienten-Kommunikation (Gülich) |
| |
Experten-Laien-Kommunikation (Gülich) |
| |
Mimik und Gestik in sozialer Interaktion (Krafft/Dausendschön-Gay) |
| |
Körper und Sprache (Dausendschön-Gay/Krafft) |
| |
Medienvermittelte Kommunikation (Dausendschön-Gay) |
| |
Computerlinguistische Grundlagen der Repräsentation und Verarbeitung paralleler Informationsströme (Gibbon/Gut/Fink) |
| |
Event-Steuerungskonzepte für multimodale Eingabeströme (Gibbon/Gut/Fink) |
| |
Prosodische Phonologien als Theorien paralleler Submodalitäten (Gibbon/Gut/Fink) |
| |
Bayes-Netze: Repräsentation unsicherer und heterogener Daten (Kummert) |
| |
Auswertung sprachlicher, gestischer und visueller Information mit Hilfe von Bayes-Netzen (Kummert) |
| |
Neuronale Informationsverarbeitung (Ritter) |
| |
Maschinelles Lernen (Ritter) |
| |
Datamining (Ritter) |
| |
Robotik (Ritter) |
| |
Partial obversable Markov decision process: Ein probabilistischer Repräsentationsformalismus zur Modellierung von kognitiven Entscheidungsprozessen (Sagerer) |
| |
Ansätze zur Modellierung natürlichen Rechnens (Sagerer) |
| home top |
|
Last Change: 2003-12-12 gk256www@techfak.uni-bielefeld.de |
Goals
