Arbeitsbereich Prof. Dr. P. Zwitserlood
Kognitive und linguistische Repräsentation von Ereignissen bei Sprachproduktion und Sprachwahrnehmung
Unter Ereignissen versteht man dynamische Situationen mit zeitlich festem Beginn und Ende. In der Psychologie fanden sie in der Tradition der Gestaltpsychologie
besonderes Interesse, da Ereignisse mit einem "Minimal"-Prinzip wahrgenommen werden, wobei aus einer Vielzahl möglicher Interpretationen die
einfachste gewählt wird.
Dieses Forschungsprojekt untersucht, wie in Abhängigkeit von unterschiedlichen Sprachaufgaben (Beschreibung eines visuellen Stimulus als Ereignis oder als
Liste von Bildelementen; Sprachproduktion vs. -wahrnehmung) visuelle Repräsentationen aufgebaut werden. Dazu untersuchen wir, welche Eigenschaften und Teile
eines komplexen visuellen Stimulus zur Wahrnehmung eines Ereignisses führen und wann diese Information abhängig von der Aufgabe aktiviert wird. Wir
konnten mit der Darbietung von photorealistischem Material zeigen, dass die Betrachtung von Handlungsszenen aufgabenabhängig ist: wenn Handlungen benannt
werden sollen, werden fast ausschliesslich Handlungsregionen fixiert im Gegensatz zur Benennung von Akteuren, wo fast nur deren Gesichter betrachtet werden. Das selbe
Bildmaterial wird in Sprech- und Hörsituationen verwendet, d.h. wenn Probanden Bilder beschreiben oder wenn ihnen Bilder beschrieben werden. Hierdurch lassen
sich gemeinsame Prinzipien von Sprachproduktion und -wahrnehmung feststellen. Methodisch wird ein Eyetracker zur Messung der Augenbewegungen der Probanden
verwendet und es werden Sprechlatenzen erhoben. So kann für jeden Zeitpunkt vor und nach Sprachbeginn bestimmt werden, welche Bildelemente die Probanden
fixieren. Ähnlich kann beim Sprachverstehen die Fixation von Bildelementen zeitlich genau mit dem sprachlichen Input koordiniert gemessen werden.
Unsere Studien mit sehr kurzer Darbietung (100 - 300 ms) von komplexen Handlungsszenen zeigten, dass wesentlich mehr Bildinformation erkannt werden kann, als die existierende Literatur
vermuten ließ. Die Sinnhaftigkeit von Szenen wird bei allen Darbietungsdauern sehr gut erkannt und auch die Akteure der Handlungen konnten wider Erwarten gut
benannt werden.
Ein Teilaspekt des Projektes betrifft die syntaktische Verarbeitung bei der Beschreibung dieser Szenen. Wir konnten zeigen, dass die Darbietung eines einzelnen
Wortes ausreichend ist, um die Wahl der syntaktischen Struktur einer darauffolgenden Bildbeschreibung zu beeinflussen. Bisher wurde vermutet, dass für einen
solchen Effekt nicht einzelne Wörter dargeboten werden müssen, sondern ganze Sätze.
Drittmittelgeber:
Beteiligte Wissenschaftler:
Veröffentlichungen:
| 
