RAGEN-2 enthüllt: Warum Entropie bei LLM-Agenten trügt – neue MI-Metrik rettet die Leistung

Die Schulung von mehrstufigen LLM-Agenten im Bereich Reinforcement Learning ist von Natur aus instabil. Dabei entscheidet die Qualität des Denkens unmittelbar über die Erreichung der Aufgabenziele. Häufig wird die Entropie herangezogen, um die Stabilität des Denkprozesses zu überwachen. Doch Entropie misst lediglich die Vielfalt innerhalb eines einzelnen Eingangs und kann nicht erkennen, ob das Denken tatsächlich auf unterschiedliche Eingaben reagiert.

In der neuesten Studie RAGEN-2 wurde ein bislang unentdecktes Problem aufgedeckt: Template Collapse. Auch wenn die Entropie stabil bleibt, nutzen Modelle oft starre Vorlagen, die zwar vielfältig wirken, aber für alle Eingaben gleich bleiben. Dieses Phänomen bleibt für Entropie und sämtliche bisherige Metriken unsichtbar.

Um die Denkqualität genauer zu erfassen, trennt RAGEN-2 die Messung in zwei Komponenten: die innerhalb‑Input‑Diversität (Entropie) und die zwischen‑Input‑Unterscheidbarkeit (Mutual Information, MI). Durch die Einführung von MI‑Proxys für die Online‑Diagnose zeigt die Forschung, dass MI die endgültige Leistung viel stärker mit korreliert als Entropie, und damit ein verlässlicheres Indiz für die Denkqualität darstellt.

Die Autoren erklären Template Collapse mit einem Signal‑zu‑Rausch‑Verhältnis‑Mechanismus. Niedrige Belohnungsvarianz schwächt die Gradienten der Aufgabe, sodass Regularisierungstermine dominieren und die Unterschiede im Denken zwischen verschiedenen Eingaben ausgelöscht werden. Die Lösung ist SNR‑Aware Filtering: Durch die Auswahl von Hoch‑Signal‑Prompts, basierend auf der Belohnungsvarianz als leichtgewichtiger Proxy, werden die Eingabe‑abhängigen Denkprozesse wiederhergestellt. In Bereichen wie Planung, mathematisches Denken, Web‑Navigation und Code‑Ausführung führt dieser Ansatz konsequent zu verbesserten Eingabe‑Abhängigkeiten und einer höheren Aufgabenleistung.