Diffusionspolitik: Bedingte proximal Policy Optimization

Reinforcement‑Learning‑Forscher haben kürzlich gezeigt, dass Diffusionsmodelle ein vielversprechendes Mittel sind, um multimodale Handlungsstrategien zu erzeugen. Im Gegensatz zu herkömmlichen Gauß‑Politiken ermöglichen sie eine größere Vielfalt und Flexibilität bei der Aktionsgenerierung.

Ein zentrales Problem bei der Kombination von Diffusion und On‑Policy‑RL ist die Berechnung der Log‑Likelihood einer Aktion unter dem Diffusionsmodell. Traditionelle Ansätze müssen den gesamten Denoising‑Prozess durchlaufen, was sowohl speicherintensiv als auch rechenaufwendig ist.

Die neue Methode, die in der Arbeit vorgestellt wird, löst dieses Problem elegant: Sie synchronisiert die Policy‑Iteration mit dem Diffusionsprozess und benötigt lediglich die Berechnung einer einfachen Gauß‑Wahrscheinlichkeit. Dadurch wird die Log‑Likelihood effizienter ermittelt und die Berechnung erheblich beschleunigt.

Ein weiterer Vorteil ist die nahtlose Einbindung von Entropie‑Regularisierung, die bei Diffusionspolitiken oft schwierig zu handhaben ist. In umfangreichen Experimenten auf den Benchmark‑Umgebungen IsaacLab und MuJoCo Playground zeigte die Methode multimodale Policy‑Verhalten und erzielte dabei überlegene Leistungen im Vergleich zu bestehenden Ansätzen.