Neue Diffusionsmethode steigert Effizienz von modellbasiertem Reinforcement Learning

In der Welt des modellbasierten Reinforcement Learning (MBRL) haben autoregressive Weltmodelle lange Zeit mit kumulativen Fehlern zu kämpfen. Diffusionsmodelle konnten dieses Problem mildern, indem sie Trajektorienabschnitte gleichzeitig erzeugen. Doch bisherige Diffusionsführungen nutzten entweder ausschließlich die Politik oder basierten auf Belohnungen, was bei kurzen Diffusionshorizonten zu kurzsichtigen Entscheidungen führte.

Die neue Methode „Advantage-Guided Diffusion for MBRL“ (AGD‑MBRL) löst dieses Problem, indem sie den Rückwärts-Diffusionsprozess mit den Vorteilsschätzungen des Agenten steuert. Dadurch konzentriert sich die Stichprobe auf Trajektorien, die voraussichtlich höhere langfristige Renditen über das generierte Fenster hinaus liefern. AGD‑MBRL bietet zwei Varianten: die Sigmoid Advantage Guidance (SAG) und die Exponential Advantage Guidance (EAG).

Die Autoren zeigen mathematisch, dass ein Diffusionsmodell, das durch SAG oder EAG geführt wird, eine gewichtete Stichprobe von Trajektorien ermöglicht, deren Gewichtung mit dem Vorteil steigt. Unter üblichen Annahmen führt dies zu einer Politikverbesserung. Zusätzlich demonstrieren sie, dass die von AGD‑MBRL erzeugten Trajektorien einer verbesserten Politik entsprechen, im Vergleich zu einem ungesteuerten Diffusionsmodell.

AGD‑MBRL lässt sich nahtlos in PolyGRAD‑artige Architekturen integrieren: Es steuert die Zustandskomponenten, während die Aktionsgenerierung policy‑bedingt bleibt, und erfordert keine Änderungen am Trainingsziel des Diffusionsmodells.

In Experimenten auf MuJoCo‑Kontrollaufgaben (HalfCheetah, Hopper, Walker2D und Reacher) übertrifft AGD‑MBRL die Sample‑Effizienz und die Endrendite gegenüber PolyGRAD, einem online Diffuser‑ähnlichen Belohnungsführer sowie modellfreien Baselines wie PPO und TRPO – in einigen Fällen deutlich.