CoTJudger: Tool zur Messung von Effizienz und Redundanz in Sprachmodellen

Large Reasoning Models (LRMs) haben gezeigt, dass sie durch ausführliche Chain-of-Thought‑Spuren (CoT) vor dem endgültigen Antwortschreiben starke Leistungen erzielen. Dieses Vorgehen führt jedoch häufig zu „Over‑Reasoning“ – unnötige Berechnungen und selbstverifizierende Schleifen, die die Rechenkosten erhöhen, ohne die Ergebnisse zu verbessern.

Derzeit konzentrieren sich die meisten Evaluierungen auf die Endgenauigkeit oder grobe Tokenzahlen und bieten keine automatisierten Mittel, um die eigentliche Logik von struktureller Redundanz zu trennen. Mit CoTJudger wird dieses Problem angegangen: Das Tool wandelt freie CoT‑Spuren in gerichtete Abhängigkeitsgraphen um und extrahiert den kürzesten effektiven Pfad (Shortest Effective Path, SEP), der nötig ist, um die korrekte Lösung zu erreichen.

Durch diese graphbasierte Analyse erhält man ein klares Effizienzsignal – ein Maß dafür, wie viel des CoT tatsächlich notwendig ist und wie viel strukturell überflüssig bleibt. Die Messung ist modell- und aufgabenübergreifend vergleichbar und liefert nachvollziehbare Einblicke.

Bei einer Evaluation von 21 LRMs zeigte CoTJudger weit verbreitete Redundanz und wiederkehrende Fehlerarten wie eine übermäßige Verifikationsobsession und kompensatorische Redundanz. Diese Erkenntnisse liefern einen praktischen Metrikrahmen, um die reine Rechenleistung von LRMs von ineffizientem Rechenaufwand zu trennen und gezielte Diagnosen sowie Optimierungen zu ermöglichen.