Laplacian-Representationen revolutionieren Entscheidungszeitplanung

Planung mit einem gelernten Modell bleibt eine zentrale Herausforderung im modellbasierten Reinforcement Learning. In der Entscheidungszeitplanung sind Zustandsrepräsentationen entscheidend, weil sie lokale Kostenberechnungen ermöglichen und gleichzeitig die langfristige Struktur bewahren müssen.

Die Autoren zeigen, dass die Laplacian-Representation einen effektiven latenten Raum für die Planung bietet, indem sie Zustandsraumabstände auf mehreren Zeitskalen erfasst. Diese Darstellung bewahrt sinnvolle Distanzen und zerlegt langfristige Probleme natürlich in Teilziele, wodurch kumulative Fehler, die bei langen Vorhersagehorizonten entstehen, reduziert werden.

Aufbauend auf diesen Eigenschaften stellen die Forscher ALPS vor, einen hierarchischen Planungsalgorithmus, und demonstrieren, dass er bei einer Auswahl von Offline‑Ziel‑gestützten RL‑Aufgaben aus OGBench die üblichen Baselines übertrifft – ein Bereich, der bisher von modellfreien Methoden dominiert wurde.