Off-Policy-Sicheres Reinforcement Learning mit begrenzter optimistischer Exploration

Ein brandneues Verfahren namens COX‑Q (Constrained Optimistic eXploration Q‑learning) verspricht, die Sicherheit von Reinforcement‑Learning‑Systemen auf ein neues Niveau zu heben. Durch die Kombination von kostenbegrenzter Online‑Exploration und konservativem Offline‑Verteilungswertlernen soll COX‑Q die häufig auftretenden Regelverletzungen in Off‑Policy‑RL‑Methoden eliminieren.

Traditionelle Off‑Policy‑RL‑Algorithmen sind zwar sehr sample‑effizient, doch ihre explorativen Schritte ignorieren oft die Kostenbeschränkungen. Das führt zu unerwünschten Regelverletzungen während der Datensammlung und im Einsatz. COX‑Q adressiert dieses Problem, indem es eine neue, kostenkonforme optimistische Explorationsstrategie einführt, die Konflikte zwischen Belohnung und Kosten im Aktionsraum löst und die Vertrauensregion dynamisch anpasst, um die Trainingskosten zu kontrollieren.

Ein weiteres Schlüsselelement von COX‑Q ist die Verwendung von abgeschnittenen Quantil‑Critics. Diese stabilisieren das Lernen der Kostenwerte und quantifizieren gleichzeitig epistemische Unsicherheit, was die Exploration gezielt steuert. Durch diese Kombination aus adaptiver Exploration und robustem Wertlernen erreicht COX‑Q eine hohe Sample‑Effizienz.

Experimentelle Tests in Bereichen wie sicherer Geschwindigkeitskontrolle, Navigation und autonomem Fahren zeigen, dass COX‑Q nicht nur die Sicherheit bei Tests verbessert, sondern auch die Kosten der Datensammlung unter Kontrolle hält. Die Ergebnisse unterstreichen COX‑Q als vielversprechende Lösung für sicherheitskritische Anwendungen.