Budgetgestützte Erreichbarkeit für sichere Offline RL

In der Welt der sequentiellen Entscheidungsfindung, die auf Markov Decision Processes basiert, haben sowohl modellbasierte als auch modellfreie Methoden beeindruckende Ergebnisse erzielt. Doch echte Anwendungen erfordern neben der Maximierung von Belohnungen auch die Einhaltung von Sicherheitsbedingungen, die häufig im Konflikt stehen und zu instabilen Optimierungsproblemen führen können.

Eine vielversprechende Alternative ist die Sicherheits-Erreichbarkeitsanalyse, die einen vorwärtsinvarianten sicheren Zustands- und Aktionsraum vorab berechnet. Dadurch bleibt ein Agent, der innerhalb dieses Raums startet, dauerhaft sicher. Bisher konzentrierten sich solche Ansätze jedoch ausschließlich auf harte Sicherheitsbeschränkungen und berücksichtigten kaum kumulative Kosten.

Die neue Arbeit führt die „sicherheitsbedingte Erreichbarkeit“ ein, die die Belohnungsmaximierung von kumulativen Sicherheitskosten trennt. Dadurch kann die Sicherheit ohne instabile Min/Max- oder Lagrange-Optimierungen gewährleistet werden.

Auf Basis dieser Idee entsteht ein Offline‑Safe‑RL‑Algorithmus, der aus einem festen Datensatz lernt und dabei keine Interaktion mit der Umgebung benötigt. Der Ansatz vermeidet die üblichen Schwankungen bei der Optimierung und liefert stabile, sichere Politiken.

Experimentelle Tests auf Standard‑Benchmarks für Offline‑Safe‑RL sowie einer realen maritimen Navigationsaufgabe zeigen, dass das Verfahren die aktuellen Spitzenreiter erreicht oder sogar übertrifft, während es gleichzeitig die Sicherheitsanforderungen erfüllt.