Neue Messmethode enthüllt: Wie LLM-Agenten ihre Zwischenschritte verfolgen

Die Erfolgsrate von Aufgaben ist bislang der wichtigste Indikator für die Leistungsfähigkeit von Large Language Models (LLM). Doch Modelle mit identischen Erfolgsquoten können sich stark darin unterscheiden, wie gut sie Zwischenschritte verfolgen. Eine neue Studie präsentiert die Working Memory Fidelity‑Active Manipulation (WMF‑AM), einen kalibrierten Test, der ohne zusätzliche Notizen die kumulative Rechenverfolgung von LLMs misst.

WMF‑AM wurde an 20 Open‑Weight‑Modellen mit 0,5 B bis 35 B Parametern aus 13 verschiedenen Familien getestet. In einer vorab festgelegten, Bonferroni-korrigierten Analyse zeigte sich, dass WMF‑AM die Agentenleistung mit einem Kendall‑Tau von 0,612 vorhersagen kann (p < 0,001, 95 % KI [0,360, 0,814]). Selbst wenn die Erfolgsrate und die Modellgröße kontrolliert werden, bleibt das Signal stark.

Durch gezielte Ablationen – wie das Entfernen von Einzelschritten, das Abschalten von Nicht‑arithmetischen Obergrenzen und das Kopplungs‑Cancellation‑Experiment – konnte nachgewiesen werden, dass die Fähigkeit, kumulative Zustände unter Belastung zu verfolgen, die Hauptschwierigkeit darstellt. Die K‑Kalibrierung hält den Test in einem diskriminierenden Bereich, in dem frühere Benchmarks an Aussagekraft verlieren. Die Generalisierung dieser Methode auf weitere Open‑Weight‑Modelle bleibt jedoch noch offen.