Neue Studie enthüllt Schwächen großer Sprachmodelle bei komplexen Relationen

Eine neue Untersuchung zeigt, dass moderne Sprachmodelle bei Aufgaben mit komplexen relationalen Bindungen deutlich an ihre Grenzen stoßen. Der Fokus liegt dabei auf der sogenannten Relational Complexity (RC), die die minimale Anzahl unabhängiger Entitäten definiert, die gleichzeitig verknüpft werden müssen, um eine Relation anzuwenden.

Durch die Einführung des Benchmarks REL – ein generatives Testframework, das in den Bereichen Algebra, Chemie und Biologie RC variiert – konnten die Forscher systematisch die Leistungsfähigkeit von Spitzen-LLMs untersuchen. Die Ergebnisse sind eindeutig: Mit steigender RC sinkt die Genauigkeit der Modelle kontinuierlich, selbst wenn die Gesamtzahl der beteiligten Entitäten konstant bleibt.

Interessanterweise bleibt dieses Leistungsrückgang auch bei erhöhter Rechenleistung und In‑Context‑Learning bestehen. Das deutet darauf hin, dass die Schwäche nicht auf fehlende Inferenzschritte oder mangelnde Beispielexposition zurückzuführen ist, sondern auf die höhere Arität der benötigten relationalen Bindungen selbst.

Die Studie hebt damit ein bislang wenig beachtetes Problem hervor und fordert die Forschungsgemeinschaft auf, bestehende Benchmarks unter dem Gesichtspunkt der Relational Complexity neu zu überdenken. Damit wird ein wichtiger Schritt unternommen, um die Grenzen von LLMs besser zu verstehen und gezielt zu adressieren.