Mean Flow Policy Optimization: Schnellere RL-Modelle ohne Kompromisse

In der Welt des Online-Reinforcement-Learnings (RL) haben Diffusionsmodelle kürzlich die Messlatte für expressive Policy-Repräsentationen angehoben. Ihre iterativen generativen Abläufe bringen jedoch erhebliche Trainings- und Inferenzkosten mit sich. Um diesem Problem entgegenzuwirken, stellen die Autoren des Papiers „Mean Flow Policy Optimization“ (MFPO) die MeanFlow-Modelle vor – eine Klasse von wenigen‑Schritt‑Flow‑basierten Generativmodellen, die die Effizienz von Training und Inferenz deutlich steigern.

MFPO nutzt das Maximum‑Entropy‑RL‑Framework und soft policy iteration, um die Exploration zu fördern. Dabei werden zwei zentrale Herausforderungen adressiert: die Bewertung der Aktionswahrscheinlichkeit und die Verbesserung der Soft‑Policy. Durch diese Optimierungen können die Modelle schneller lernen und gleichzeitig die Qualität der Entscheidungen beibehalten.

Experimentelle Ergebnisse auf den Benchmarks MuJoCo und der DeepMind Control Suite zeigen, dass MFPO die Leistung aktueller Diffusions‑basierter Baselines erreicht oder sogar übertrifft – und das bei deutlich geringerer Trainings- und Inferenzzeit. Der komplette Code steht auf GitHub zur Verfügung: https://github.com/MFPolicy/MFPO.