Neuer Ansatz: Gumbel- und Sequential-Halving-Tree-Search steigert LLM-Logik
Neuer Forschungsbericht zeigt, dass die bisherige AlphaZero‑inspirierte Baum‑Suche bei großen Sprachmodellen nicht mehr mit steigenden Suchbudgets skaliert. Auf den Prüfplätzen GSM8K und Game24 sinkt die Genauigkeit, je…
- Neuer Forschungsbericht zeigt, dass die bisherige AlphaZero‑inspirierte Baum‑Suche bei großen Sprachmodellen nicht mehr mit steigenden Suchbudgets skaliert.
- Auf den Prüfplätzen GSM8K und Game24 sinkt die Genauigkeit, je mehr Ressourcen für die Suche zur Verfügung stehen.
- Um dieses Problem zu lösen, präsentiert das Team die Methode ReSCALE.
Neuer Forschungsbericht zeigt, dass die bisherige AlphaZero‑inspirierte Baum‑Suche bei großen Sprachmodellen nicht mehr mit steigenden Suchbudgets skaliert. Auf den Prüfplätzen GSM8K und Game24 sinkt die Genauigkeit, je mehr Ressourcen für die Suche zur Verfügung stehen.
Um dieses Problem zu lösen, präsentiert das Team die Methode ReSCALE. Dabei wird die klassische AlphaZero‑MCTS‑Architektur um Gumbel‑Sampling und Sequential Halving erweitert. Diese beiden Änderungen ersetzen die bisherige Dirichlet‑Rausch‑ und PUCT‑Auswahl und ermöglichen eine monotone Verbesserung der Leistung, ohne das zugrunde liegende Modell oder dessen Training zu verändern.
ReSCALE erzielt beeindruckende Ergebnisse: 58,4 % Genauigkeit auf GSM8K und 85,3 % auf Game24 – Werte, die bei den ursprünglichen Algorithmen bereits abnahmen. Ablationsstudien zeigen, dass Sequential Halving der Haupttreiber hinter dem Leistungsanstieg ist.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.