Neues Reward‑Shaping: Agenten erkunden sicher Grenzen offline trainierter Daten

Offline‑Reinforcement‑Learning liefert robuste Policies für reale Anwendungen, doch die damit verbundene Pessimismus‑Tendenz hemmt die Fähigkeit von Agenten, online neue Daten zu sammeln. Durch die Inspiration aus sicherem Reinforcement‑Learning schlagen die Autoren einen Ansatz vor, bei dem Agenten gezielt an die Ränder der von Offline‑Datensätzen gut abgedeckten Regionen heranreisen. Dort können sie moderate Risiken eingehen, indem sie informative, aber nicht zu unsichere Zustände erkunden, während sie gleichzeitig nahe genug an vertrauten Gebieten bleiben, um sicher zurückkehren zu können.

Ein Problem bei einer einfachen Belohnung für das Grenz‑Suchen ist die Gefahr eines „Parkier‑Verhaltens“, bei dem der Agent stoppt, sobald er die Grenze erreicht. Um dies zu verhindern, stellen die Autoren ein neues Paradigma des vector‑Field‑Reward‑Shapings vor. Das System nutzt einen Unsicherheits‑Oracle, der aus den Offline‑Daten trainiert wurde, und kombiniert zwei komplementäre Komponenten: einen Gradient‑Ausrichtungsterm, der den Agenten zu einem gewünschten Unsicherheitsniveau zieht, und einen Rotations‑Flussterm, der Bewegung entlang der lokalen Tangentialebene der Unsicherheits‑Mannigfaltigkeit fördert.

Die theoretische Analyse zeigt, dass diese Belohnungsstruktur ein kontinuierliches, sicheres Grenz‑Explorationsverhalten erzeugt und gleichzeitig degenerierte Lösungen verhindert. In Experimenten mit Soft Actor‑Critic auf einer 2‑D‑Navigation demonstrieren die Autoren, dass Agenten erfolgreich Unsicherheitsgrenzen durchqueren und dabei ein ausgewogenes Verhältnis zwischen Sicherheit und Informationsgewinn halten.