Neues RL-Verfahren kombiniert ω-Regular-Ziele mit Sicherheitsbeschränkungen

Reinforcement Learning (RL) nutzt üblicherweise ein einzelnes, skalare Belohnungssignal, das nur schwer komplexe zeitliche, bedingte oder sicherheitskritische Vorgaben ausdrücken kann. Dadurch entstehen häufig sogenannte Reward‑Hacking‑Probleme, bei denen Agenten das Belohnungssignal manipulieren, ohne die eigentliche Aufgabe zu erfüllen.

Mit ω‑Regular‑Zielen, die auf temporaler Logik basieren, lassen sich dagegen präzise Verhaltensregeln formulieren. Diese Klasse von Zielen ermöglicht es, umfangreiche Eigenschaften des Agentenverhaltens zu spezifizieren, die über einfache Belohnungen hinausgehen.

Ein weiteres Problem besteht darin, dass die Leistung eines Agenten oft noch immer durch ein einziges Skalarmaß, sei es die Belohnung oder die Erfüllungswahrscheinlichkeit, bewertet wird. In realen Anwendungen führt dies zu versteckten Kompromissen zwischen Sicherheit und Leistung, wenn ein gewisses Risiko toleriert wird.

Die vorgestellte Arbeit löst beide Herausforderungen gleichzeitig: Sie kombiniert ω‑Regular‑Ziele mit expliziten Beschränkungen, sodass Sicherheitsanforderungen und Optimierungsziele getrennt behandelt werden können. So kann ein Agent so optimiert werden, dass er die gewünschte Zielerfüllung maximiert, ohne dabei festgelegte Sicherheitsgrenzen zu überschreiten.

Zur Umsetzung wird ein modellbasiertes RL‑Algorithmus auf Basis linearer Programmierung entwickelt. Im Grenzfall erzeugt dieser Algorithmus eine Politik, die die Wahrscheinlichkeit, ein ω‑Regular‑Ziel zu erfüllen, maximiert und gleichzeitig die ω‑Regular‑Beschränkungen innerhalb vorgegebener Schwellenwerte einhält.

Darüber hinaus wird gezeigt, wie die Problemstellung in ein konstrahiertes Limit‑Average‑Problem übersetzt werden kann, wobei die Optimalität erhalten bleibt. Diese Übersetzung eröffnet neue Möglichkeiten, die erarbeiteten Methoden in bestehenden RL‑Frameworks einzusetzen.