ReFORM: Flow-basierte Offline RL ohne OOD-Fehler – neue Rekordleistung

ReFORM ist ein neu entwickeltes Verfahren für Offline-Reinforcement-Learning, das die häufigsten Stolpersteine in diesem Bereich elegant löst. Im Gegensatz zu bisherigen Ansätzen, die versuchen, die Policy durch statistische Distanzbegrenzungen an die Trainingsdaten zu binden, nutzt ReFORM Flows, um die Unterstützung der Aktionen direkt zu konstruieren.

Das Verfahren beginnt mit einer Behavior‑Cloning‑Flow‑Policy, die aus einer begrenzten Quellverteilung lernt und damit die genaue Reichweite der Aktionen abbildet. Anschließend wird ein reflektierter Flow optimiert, der gezielt beschränkte Rauschkomponenten erzeugt, die die ursprüngliche Policy erweitern, ohne die zulässige Aktionsmenge zu verlassen. Dadurch bleibt die Policy sowohl ausdrucksstark als auch sicher vor Out‑of‑Distribution‑Fehlern.

In umfangreichen Tests auf 40 anspruchsvollen Aufgaben des OGBench‑Benchmarks, die Datensätze unterschiedlicher Qualität umfassen, übertrifft ReFORM sämtliche Baselines – selbst wenn diese mit handverstellten Hyperparametern betrieben werden. Das Verfahren verwendet dabei ein einheitliches Hyperparameter‑Set für alle Aufgaben, was die Robustheit und Skalierbarkeit weiter unterstreicht.