TUJOTA - Turn Taking at the Joint Action Table

Kontakt: Rosari Naveena Selvan

In diesem Kooperationsprojekt zwischen Prof. Florentin Wörgötter (Leiter der Abteilung Computational Neuroscience an der Universität Göttingen) und unserem Labor wollen wir die kognitive Architektur der Handlungswahrnehmung untersuchen. Unser besonderes Interesse gilt dabei der neurokognitiven Basis eines Verhaltens oder einer Funktion, die als "turn taking" bezeichnet wird und erstmals in Gesprächen beschrieben wurde. Turn taking" bedeutet hier, dass der Zuhörer zwar noch dekodiert, was er hört, aber bereits die eigene kommende Äußerung vorbereitet, so dass die durchschnittliche Übergangszeit zwischen den beiden Gesprächspartnern nicht mehr als 200 msec beträgt. Da die Planung einer Äußerung selbst wesentlich länger dauert, wird deutlich, dass Turn-Taking mehrere zusammenfallende antizipatorische Prozesse beinhaltet: die Vorhersage des ungefähren Inhalts des bisher Unausgesprochenen, die Vorhersage des Zeitpunkts der aktuellen Äußerung des anderen und damit des wahrscheinlichsten Zeitpunkts, an dem eine Antwort passend ist, und die Vorbereitung der eigenen Äußerung. Turn-Taking ist auch bei gemeinsamen Handlungen zu beobachten, wurde aber bisher kaum untersucht. In diesem Projekt messen wir die Hirnströme, Handbewegungen und Augenbewegungen eines Handlungsbeobachters, der sich auf das Turn-Taking vorbereitet. Mit Hilfe von Computer Vision im Göttinger Labor werden wir die Hinweise bewerten, die ein Beobachter aus einer beobachteten Objektmanipulation eines Schauspielers/einer Schauspielerin ableitet, und die Augenbewegungen des Beobachters sowie den Zeitpunkt messen, an dem er/sie mit dem Turn-Taking beginnt. Unter Verwendung dieser Datenpunkte zur Modellierung von Entropie und Überraschung werden wir in einer fMRI-Studie in Münster die Hirnaktivität von Handlungsbeobachtern untersuchen, denen Videos derselben Handlungen präsentiert werden. Unsere Erkenntnisse können zur Entwicklung von Robotern beitragen, die gemeinsam mit Menschen agieren können.