Konsistenz steigert Genauigkeit: Wie Verhaltensvariabilität Agenten beeinflusst

Eine aktuelle Veröffentlichung auf arXiv (2603.25764v1) untersucht, wie die Konsistenz von LLM‑basierten Agenten die Zuverlässigkeit in produktiven Systemen beeinflusst. Im Fokus steht das anspruchsvolle Software‑Engineering‑Benchmark SWE‑bench, das komplexe, mehrstufige Problemlösungen erfordert.

Die Studie vergleicht Claude 4.5 Sonnet, GPT‑5 und Llama‑3.1‑70B anhand von 50 Durchläufen pro Modell (10 Aufgaben × 5 Wiederholungen). Claude weist die geringste Varianz auf (CV = 15,2 %) und erzielt die höchste Genauigkeit (58 %). GPT‑5 liegt mittig (CV = 32,2 %, Genauigkeit = 32 %) und Llama zeigt die größte Streuung (CV = 47,0 %) sowie die niedrigste Genauigkeit (4 %). Diese Zahlen zeigen, dass höhere Konsistenz mit besserer Leistung korreliert.

Allerdings verstärkt Konsistenz nicht automatisch die Richtigkeit. Bei Claude entstehen 71 % seiner Fehler durch „konsistente falsche Interpretation“, also dieselbe fehlerhafte Annahme in allen Durchläufen. GPT‑5 erreicht eine ähnliche frühe strategische Übereinstimmung wie Claude, weist jedoch 2,1‑fach höhere Varianz auf, was beweist, dass der Zeitpunkt des Divergens allein keine Garantie für Konsistenz ist.

Die Ergebnisse legen nahe, dass für den produktiven Einsatz die Genauigkeit der Interpretation wichtiger ist als die Ausführungs­konsistenz. Für die Bewertung und das Training von Agenten sollte daher stärker auf die Qualität der Entscheidungsfindung geachtet werden.