Delta L Normalisierung: Neue Methode stabilisiert RLVR‑Training
In einer kürzlich veröffentlichten Arbeit auf arXiv (2509.07558v1) stellen die Autoren die ΔL‑Normalisierung vor – ein einfaches, aber wirkungsvolles Verfahren zur Aggregation von Verlusten in Reinforcement Learning mit Verifiable Rewards (RLVR). RLVR hat sich als vielversprechend erwiesen, um die Argumentationsfähigkeiten großer Sprachmodelle zu verbessern, doch die stark variierenden Antwortlängen während des Trainings führen zu hohen Gradientenvariationen und instabilen Optimierungen.
Im Gegensatz zu bisherigen Ansätzen wie GRPO, DAPO oder Dr. GRPO, die unterschiedliche Normalisierungstermine einführen, bleibt die ΔL‑Normalisierung sowohl unverzerrt als auch variantenminimierend. Durch eine theoretische und empirische Analyse der Länge‑Einflüsse auf den Politikverlust wird das Problem als Suche nach einem Minimum‑Varianz‑unverzerrten Schätzer formuliert. Das Ergebnis ist ein Verfahren, das nicht nur die wahre Politikverlustschätzung liefert, sondern auch die Gradientenvarianz theoretisch minimiert.
Umfangreiche Experimente zeigen, dass die ΔL‑Normalisierung konsequent bessere Ergebnisse erzielt – unabhängig von Modellgröße, maximaler Länge oder Aufgabenstellung. Der Code wird öffentlich auf GitHub zur Verfügung gestellt: https://github.com/zerolllin/Delta-L-Normalization.