P2


Isabell Wartenburger

Juliane Burmester

Birgit Elsner

Matt Hilton

Project description

-English version-
Both heard speech and observed action-sequences consist of continuous streams of information. Boundaries in the signal help the listener/observer to segment or chunk the incoming information into meaningful units. In speech, intonation-phrase boundaries, which usually coincide with syntactic boundaries, are characterized by prosodic boundary cues, such as pre-boundary pitch changes, pre-boundary lengthening, and pause. Processing of those cues is an important prerequisite of language acquisition. In action sequences, pauses and other kinematic cues such as such as time intervals with high limb acceleration/deceleration and high motion velocity are relevant to identify action units, but the processing of such has only scarcely been studied in infants. Besides these signal-driven bottom-up cues, adults also apply top-down knowledge to segment continuous streams of information (in the linguistic domain: lexical and syntactic knowledge; in the action domain: conceptual knowledge about the structure and functionality of actions). 

It is so far unknown how bottom-up and top-down mechanisms interact in infants’ and young children’ segmentation of speech or action, and to what extend their operation is domain-general. Using series of EEG- and eye-tracking investigations in young infants and children (from 6 to 42 months of age), our interdisciplinary project aims to characterize commonalities and/or differences in segmentation or chunking processes in speech perception and action observation in the early development. In addition, we will characterize the neurocognitive basis of the development of speech and action segmentation. Our research will contribute to a more detailed understanding of the interplay of language, cognition, and the brain in young children’s segmentation of continuous streams of linguistic and non-linguistic information, which will give further insights in the domain-generality or -specificity of the involved cognitive processes.

-German version-
Sowohl das Hören von Sprache als auch das Beobachten von Handlungen erfordern die Verarbeitung eines kontinuierlichen Stroms von Informationen. Wahrnehmbare Grenzen innerhalb dieses Signals helfen den ZuhörerInnen/BeobachterInnen, die einströmenden Informationen in sinnvolle Einheiten zu segmentieren. In der Sprache sind diese Grenzen zum Beispiel prosodisch gekennzeichnet. Sogenannte Intonationsphrasengrenzen, die in der Regel mit syntaktischen Grenzen übereinstimmen, sind z.B. durch eine Veränderung der Tonhöhe unmittelbar vor der Phrasengrenze und durch Pausen charakterisiert. Die Verarbeitung dieser Hinweisreize im kontinuierlichen Sprachstrom ist eine wichtige Voraussetzung für den Spracherwerb. Auch in Handlungssequenzen lassen sich Einheiten anhand von Pausen und anderen kinematischen Hinweisreizen wie z.B. einer erhöhten Bewegungsgeschwindigkeit identifizieren. Die Verarbeitung derartiger Hinweisreize bei Säuglingen und Kleinkindern wurde bisher allerdings selten untersucht.

Neben diesen signalgesteuerten Hinweisreizen (sogenannten „bottom-up Cues“) wenden Erwachsene zur Segmentierung kontinuierlicher Information auch Verarbeitungsmechanismen an, für die sie auf ihr vorhandenes Wissen über Sprache oder Handlungen zurückgreifen (sogenannte „top-down“ Verarbeitung). Erwachsene greifen in Bezug auf Sprache auf ihr vorhandenes lexikalisches und syntaktisches Wissen zurück, und in Bezug auf Handlungen nutzen sie ihr konzeptionelles Wissen über die Struktur und Funktionalität von Handlungen. Bisher ist nicht bekannt, wie Bottom-up- und Top-down-Mechanismen bei der frühkindlichen Segmentierung von Sprache oder Handlung zusammenwirken, und ob die Mechanismen domänen-übergreifend wirken. Ziele unseres interdisziplinären Projektes sind, Gemeinsamkeiten und/oder Unterschiede in der geistigen Verarbeitung von Grenzmarkierungen während der Sprachwahrnehmung und Handlungsbeobachtung in der frühen kindlichen Entwicklung zu charakterisieren sowie das Zusammenspiel der sprach- und handlungsbezogenen Prozesse zu erforschen. Zusätzlich erforschen wir auch die neurokognitve Basis der frühkindlichen Entwicklung von Sprach- und Handlungssegmentierung. Dazu verwenden wir EEG- und Eye-Tracking-Untersuchungen bei Säuglingen und Kleinkindern (im Alter von 6 bis 42 Monaten). Mit unserer Forschung wollen wir zu einem detaillierteren Verständnis des Zusammenspiels von Sprache, Kognition und Gehirn bei der Segmentierung von kontinuierlichen, sprachlichen und nicht-sprachlichen, Informationsströmen in der kindlichen Entwicklung beitragen. Dies wird weitere Einblicke in die domänen-übergreifende oder -spezifische Funktionsweise der beteiligten kognitiven Prozesse geben.


Publications/Conferences (2nd funding phase)

Hilton, M., Wartenburger, I., & Elsner, B. (2020, July). The effect of kinematic boundary cues on action sequence processing during infancy: An ERP study. Poster presented at the virtual International Conference of Infant Studies. www.matthilton.de/ICIS2020

Hilton, M., Räling, R., Wartenburger, I., & Elsner, B, (2019, August). ERP correlates of action segmentation in infants. Poster presented at the 4th Lancaster Conference on Infant and Early Child Development, Lancaster, UK.

Hilton, M., Räling, R., Wartenburger, I., & Elsner, B. (2019). Parallels in processing boundary cues in speech and action. Frontiers in Psychology, 10, Article 1566. doi: 10.3389/fpsyg.2019.01566
OSF Link: https://osf.io/pq8xz/