Adaptive Layerwise Perturbation stabilisiert LLM‑RL‑Training und verbessert Leistung
In der aktuellen Forschung zu Large‑Language‑Model‑RL (LLM‑RL) stellen Off‑Policy‑Probleme wie Policy‑Stalenz und Trainings‑Inference‑Mismatch einen wesentlichen Engpass für die Trainingsstabilität dar. Diese Diskrepanz…
- In der aktuellen Forschung zu Large‑Language‑Model‑RL (LLM‑RL) stellen Off‑Policy‑Probleme wie Policy‑Stalenz und Trainings‑Inference‑Mismatch einen wesentlichen Engpass…
- Diese Diskrepanzen führen zu einer wachsenden Distanz zwischen der während des Trainings aktualisierten Policy und der tatsächlich eingesetzten Inference‑Policy, was häu…
- Um diesem Problem zu begegnen, wurde die Adaptive Layerwise Perturbation (ALP) entwickelt.
In der aktuellen Forschung zu Large‑Language‑Model‑RL (LLM‑RL) stellen Off‑Policy‑Probleme wie Policy‑Stalenz und Trainings‑Inference‑Mismatch einen wesentlichen Engpass für die Trainingsstabilität dar. Diese Diskrepanzen führen zu einer wachsenden Distanz zwischen der während des Trainings aktualisierten Policy und der tatsächlich eingesetzten Inference‑Policy, was häufig zu stark verzerrten Importance‑Ratios und damit zu instabilen Updates führt.
Um diesem Problem zu begegnen, wurde die Adaptive Layerwise Perturbation (ALP) entwickelt. ALP fügt während der Update‑Phase kleine, lernbare Störungen in die versteckten Zustände jeder Schicht ein. Diese Störungen dienen als Zähler im Importance‑Ratio und verhindern, dass die aktualisierte Policy zu abrupt von der Inference‑Policy abweicht. Durch die gezielte Einführung von kontrolliertem Rauschen in die Zwischenrepräsentationen wird die Policy‑Familie erweitert, sodass sie die Inference‑Policy mit möglichen Mismatch‑Rauschen abdecken kann. Das Ergebnis ist eine flachere Verteilung, die den Abstand zwischen aktualisierter und Inference‑Policy reduziert und die Häufigkeit von extremen Importance‑Ratios verringert.
Experimentelle Tests auf Aufgaben wie Single‑Turn‑Mathematik und Multi‑Turn‑Tool‑integrierte Reasoning‑Aufgaben zeigen, dass ALP nicht nur die Endleistung steigert, sondern auch die Gefahr von explodierenden Importance‑Ratio‑Schwänzen und KL‑Spitzen während iterativer Trainingsschleifen minimiert. Gleichzeitig fördert ALP die Exploration, indem es die Policy‑Familie breiter macht und dadurch neue, potenziell bessere Strategien erschließt.
Eine Ablationsanalyse bestätigt, dass die Störungen auf Repräsentations‑Ebene in allen Schichten die effektivste Variante sind. Durch die gleichmäßige Verteilung der Perturbations über sämtliche Layer wird die Policy‑Stabilität maximiert, während gleichzeitig die Flexibilität erhalten bleibt, um sich an unterschiedliche Inference‑Umgebungen anzupassen.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.