Agent Psychometrics: Aufgabenleistung in Codierungsbenchmarks vorhersagen

Mit dem Wandel von statischer, ein‑Schritt‑Codegenerierung zu mehrschrittigen, agentischen Interaktionen mit Tools und Umgebungen wird es immer schwieriger, vorherzusagen, welche Aufgaben Agenten herausfordern und warum. Traditionelle Messgrößen, die lediglich Gesamtrezipsätze angeben, verbergen die Vielfalt einzelner Aufgaben.

Forscher haben deshalb ein neues Rahmenwerk entwickelt, das den Erfolg oder Misserfolg einzelner Aufgaben im agentischen Codierungsmodus vorhersagen kann. Dabei wird die klassische Item‑Response‑Theory (IRT) um umfangreiche Merkmale der Aufgaben erweitert – von Problemstellungen über Repository‑Kontexte bis hin zu Lösungen und Testfällen.

Ein zentrales Innovationselement ist die Aufteilung der Agentenfähigkeit in zwei Komponenten: die reine LLM‑Fähigkeit und die Fähigkeit, mit dem jeweiligen Scaffold (Tool‑Umgebung) zu arbeiten. Diese Parameterisierung ermöglicht es, Daten aus heterogenen Leaderboards zu konsolidieren und die Leistung auf unbekannten Benchmarks sowie bei neuen LLM‑Scaffold‑Kombinationen präzise vorherzusagen.

Für Designer von Benchmarks bedeutet das: Sie können die Schwierigkeit neuer Aufgaben besser kalibrieren, ohne teure Agenten‑Evaluierungen durchführen zu müssen. Das neue System liefert damit einen praktischen Leitfaden, um die Qualität und Relevanz von Codierungsaufgaben systematisch zu verbessern.