Sprachmodell-Agenten: Messbare Fehler bei Exploration und Ausnutzung

Ein neues arXiv‑Paper (2604.13151v1) zeigt, dass die Fehler bei der Erkundung und Ausnutzung von Sprachmodell‑Agenten quantifizierbar sind. Die Autoren haben dafür kontrollierbare Umgebungen entwickelt, die aus einem teilweise beobachtbaren 2‑D‑Raster und einem unbekannten gerichteten azyklischen Graphen bestehen. Durch programmierbare Anpassungen lässt sich die Schwierigkeit der Exploration oder Exploitation gezielt erhöhen.

Um die Leistung von Agenten unabhängig von ihrer internen Politik zu bewerten, wurde ein neues Messkriterium eingeführt, das die Fehler in den beobachteten Aktionen erfasst. In umfangreichen Tests haben die Forscher verschiedene fortschrittliche LM‑Agenten evaluiert und festgestellt, dass selbst die neuesten Modelle bei dieser Aufgabe noch stark versagen. Die Fehler zeigen unterschiedliche Muster, je nach Modelltyp.

Besonders hervorzuheben ist, dass reine Rechen‑ und Logik‑Modelle die Aufgabe deutlich besser lösen als reine Sprachmodelle. Durch minimale Anpassungen der „Harness‑Engineering“-Komponenten konnten sowohl die Erkundungs- als auch die Ausnutzungsleistung signifikant verbessert werden. Die Autoren stellen ihren Code unter GitHub zur Verfügung, sodass die Community die Ergebnisse reproduzieren und weiterentwickeln kann.