Robuste Policy-Iteration bei Übergangssicherheit: Neue Offline RL-Methode

Offline-Reinforcement-Learning (RL) ermöglicht datenintensive und sichere Politikentwicklung ohne Online-Erkundung. In der Praxis leidet die Leistung jedoch häufig unter Verteilungsverschiebungen, wenn die erlernte Politik Zustands-Aktionspaare außerhalb des Trainingsdatensatzes besucht. Dort sind Wertschätzungen und dynamische Modelle unzuverlässig.

Um diese Probleme in einem einheitlichen Rahmen zu lösen, formuliert die neue Arbeit Offline RL als robuste Politikoptimierung. Dabei wird der Übergangskern als Entscheidungsvariable innerhalb eines Unsicherheitsbereichs betrachtet und die Politik wird gegen die schlechtesten möglichen Dynamiken optimiert.

Die vorgeschlagene Methode, Robust Regularized Policy Iteration (RRPI), ersetzt das intransparente Max-Min-Bilevel-Problem durch einen handhabbaren KL-regularisierten Surrogat. Auf Basis eines robusten, regularisierten Bellman-Operators wird ein effizientes Policy-Iteration-Verfahren entwickelt. Theoretisch wird gezeigt, dass der Operator eine γ‑Kontraktion ist und dass die sukzessive Aktualisierung des Surrogats eine monotone Verbesserung des ursprünglichen robusten Ziels garantiert, was schließlich zur Konvergenz führt.

Experimentelle Ergebnisse auf den D4RL-Benchmarks demonstrieren, dass RRPI durchschnittlich starke Leistungen erzielt, die meisten Umgebungen gegenüber aktuellen Baselines wie PMDB übertrifft und in den übrigen noch konkurrenzfähig bleibt. Besonders hervorzuheben ist die robuste Verhaltensweise: Die geschätzten Q‑Werte sinken in Bereichen mit hoher epistemischer Unsicherheit, was darauf hindeutet, dass die Politik verlässliche, aber nicht aus dem Trainingsbereich stammende Aktionen meidet.