Neuer Algorithmus EVE erreicht maximale Entropie ohne Rollouts

Effiziente Exploration bleibt ein zentrales Problem im Reinforcement Learning, besonders wenn keine externe Belohnungsfunktion vorliegt. Ein Ansatz besteht darin, Agenten zu trainieren, die die Entropie ihrer langfristigen Besuchsverteilung maximieren, um eine gleichmäßige Abdeckung des Zustandsraums zu erreichen.

Viele bestehende Methoden schätzen diese Besuchsfrequenzen über wiederholte Rollouts, was sehr rechenintensiv ist. Der neue Ansatz nutzt stattdessen eine intrinsische, durchschnittliche Belohnung, die direkt aus der Besuchsverteilung abgeleitet wird. Dadurch maximiert die optimale Politik die stationäre Entropie.

Durch eine Entropie-regularisierte Variante lässt sich das Problem spektral charakterisieren: Die relevanten stationären Verteilungen können aus den dominanten Eigenvektoren einer problemabhängigen Übergangsmatrix berechnet werden. Diese Erkenntnis führt zu dem Algorithmus EVE (EigenVector-based Exploration), der die Lösung ohne explizite Rollouts und Schätzungen der Verteilung berechnet und dabei iterative Updates ähnlich einem value‑based Ansatz verwendet.

Um die ursprüngliche, unregularisierte Zielsetzung zu adressieren, wird ein Posterior‑Policy‑Iteration‑Ansatz (PPI) eingesetzt, der die Entropie monoton steigert und im Wert konvergiert. Unter Standardannahmen wird die Konvergenz von EVE bewiesen, und empirische Tests zeigen, dass der Algorithmus deutlich effizienter arbeitet als herkömmliche Explorationstechniken.