Entropie-gesteuerte Decodierung verbessert LLM‑Logik – Fehler reduziert

Die Art und Weise, wie große Sprachmodelle (LLMs) ihre Antworten generieren, hat einen entscheidenden Einfluss auf ihre Fähigkeit, logisch zu denken. Klassische Ansätze wie greedy decoding oder Beam Search neigen häufig zu Fehlern, die sich im Verlauf der Antwort verstärken, während sampling-basierte Verfahren zwar Zufälligkeit einbringen, aber keine ausreichende Zuverlässigkeit bieten. Selbstkonsistenz, die mehrere Durchläufe zusammenführt, erhöht die Genauigkeit, kostet jedoch enorme Rechenressourcen.

Eine neue Methode nutzt die Entropie der Tokenverteilung, um die Decodierung dynamisch anzupassen. Bei jedem Schritt berechnet das Modell die Unsicherheit der möglichen Tokens, erkennt so stark unklare Positionen und führt gezielt Branching dort ein. Dadurch wird die Rechenleistung dort konzentriert, wo sie am dringendsten benötigt wird, und in Bereichen mit hoher Sicherheit wird unnötiges Ausprobieren vermieden.

Das Verfahren verwaltet einen dynamischen Pool von Teil-Durchläufen, die sukzessive erweitert werden, bis vollständige Lösungen vorliegen. Um die Laufzeit zu optimieren, wird ein sogenanntes Entropy After (EAT)-Kriterium angewendet: Die Entropie wird erst nach Abschluss des gesamten Denkpfades bewertet, anstatt bei jedem Schritt. Dies ermöglicht ein schnelles und dennoch robustes Abbruchsignal.

In Experimenten mit den Datensätzen GSM8K, AMC2023 und deren gestörten Varianten erzielte die Entropie-gesteuerte Decodierung konstant hohe Genauigkeiten. Besonders bei kleineren Modellen erreichte die Methode Leistungen, die mit GPT‑5 vergleichbar sind, jedoch zu einem Bruchteil der Kosten. Diese Ergebnisse deuten darauf hin, dass Entropie als Leitfaden für die Generierung nicht nur die Qualität steigert, sondern auch die Effizienz von LLMs deutlich verbessert.