Seit mehr als einem Jahrzehnt untersuchen PD Dr. Patrick Krauss und PD Dr. Achim Schilling die Frage, wie sprachliches Wissen in neuronalen Netzen repräsentiert wird. Das Forschungsprogramm begann an der Friedrich-Alexander-Universität Erlangen-Nürnberg und wird heute am Mannheim Center for Neural Computation and Neuroprosthetics (MCNN) der Universitätsmedizin Mannheim der Universität Heidelberg fortgeführt.
Ein besonderer Schwerpunkt liegt auf der Frage, ob moderne Sprachmodelle lediglich statistische Zusammenhänge zwischen Wörtern erlernen oder ob sie auch abstrakte grammatische Strukturen repräsentieren. Im Zentrum stehen dabei sogenannte Konstruktionen - wiederkehrende Form-Bedeutungs-Muster wie Transitiv-, Ditransitiv- oder Resultativkonstruktionen, die in der Konstruktionsgrammatik als grundlegende Bausteine menschlicher Sprache betrachtet werden.
Im Rahmen mehrerer Forschungsprojekte konnten Krauss, Schilling und ihre Mitarbeitenden zeigen, dass neuronale Sprachmodelle überraschend strukturierte Repräsentationen solcher Konstruktionen entwickeln. Die Ergebnisse deuten darauf hin, dass moderne Large Language Models nicht nur einzelne Wörter oder statistische Wortfolgen erfassen, sondern auch abstraktere sprachliche Muster lernen. Gleichzeitig zeigen die Untersuchungen, dass sich die internen Repräsentationen künstlicher Systeme in wichtigen Punkten weiterhin von menschlichem Sprachwissen unterscheiden.
