Vermeidung von Lernstillstand PPO Skalierung auf 1 Million Parallelumgebungen

Plateaus – Phasen, in denen ein Agent bei PPO nicht mehr Fortschritte macht – sind ein häufiges Problem in der on‑policy‑Reinforcement‑Learning‑Forschung. Die neue Studie zeigt, dass diese Stillstände nicht primär durch fehlende Exploration, Kapazitätsengpässe oder Optimierungsprobleme entstehen, sondern weil die stichprobenbasierten Schätzungen des Verlustes im Verlauf des Trainings schlechtere Proxy‑Messwerte für das eigentliche Ziel liefern.

Im Kern betrachtet die Arbeit den äußeren Loop von PPO, bei dem Rollouts aus mehreren Parallelumgebungen gesammelt und anschließend offline in Mini‑Batch‑SGD‑Schritten optimiert werden. Der Schritt­größen­parameter wird dabei durch die Regularisierung gegenüber der vorherigen Policy bestimmt, während das Rauschen im Gradienten von der Anzahl der gesammelten Samples zwischen den Policy‑Updates abhängt. Das Modell prognostiziert, dass ein zu großer Schritt­größen­faktor im Verhältnis zum Rauschen zu einem suboptimalen Plateau führt.

Aus dieser Sicht ergeben sich zwei einfache Gegenmaßnahmen: Entweder die Schritt­größe verkleinern oder die Anzahl der Samples zwischen den Updates erhöhen. Die Autoren zeigen, dass die Skalierung der Parallelumgebungen – zum Beispiel auf eine Million – sowohl die Schritt­größe als auch das Rauschen reduziert und damit Lernstillstände effektiv verhindert.

Die theoretischen Vorhersagen wurden experimentell bestätigt, indem verschiedene Hyperparameter‑Konfigurationen getestet wurden. Abschließend wird ein praktisches Rezept vorgestellt, wie man durch gezielte Erhöhung der Parallelumgebungen stabile Lernfortschritte bei PPO erzielt, ohne die Modellkomplexität zu erhöhen.