ARISE: Hierarchisches Reinforcement Learning verbessert mathematisches Problemlösen

In einer neuen Studie wird ARISE vorgestellt, ein hierarchisches Reinforcement‑Learning‑Framework, das die mathematische Problemlösung in Sprachmodellen deutlich steigert. Im Gegensatz zu bisherigen Ansätzen, die jedes Problem einzeln behandeln, nutzt ARISE wiederverwendbare Strategien, die während des Trainings entstehen und akkumulieren.

Das System besteht aus einer gemeinsamen Policy, die sowohl einen „Skills Manager“ als auch einen „Worker“ steuert. Der Manager baut eine mehrstufige Bibliothek von Fertigkeiten auf, indem er erfolgreiche Lösungswege strukturiert zusammenfasst und anschließend gezielt passende Fertigkeiten für zukünftige Aufgaben auswählt. Der Worker generiert die eigentlichen Antworten, wobei er die vom Manager bereitgestellten Fertigkeiten nutzt.

Durch ein hierarchisches Belohnungsdesign wird gleichzeitig die Rechenfähigkeit des Modells und die Qualität der Fertigkeitsbibliothek gefördert. In Tests mit zwei Basismodellen und sieben Benchmarks – darunter Wettbewerbs‑Mathematik und Omni‑MATH – übertrifft ARISE bestehende GRPO‑Familienalgorithmen und speicherbasierte Baselines, insbesondere bei Aufgaben außerhalb des Trainingsdatensatzes.

Ablationsstudien zeigen, dass jedes einzelne Element des Systems zur Gesamtverbesserung beiträgt und dass sich Bibliotheksqualität und Rechenleistung im Verlauf des Trainings synchron steigern. Der Quellcode ist unter https://github.com/Skylanding/ARISE verfügbar.