Neuer Ansatz: Verhaltenserklärungen in Reinforcement Learning

Reinforcement Learning (RL) hat in den letzten Jahren enorme Fortschritte erzielt, doch ein zentrales Problem bleibt bestehen: Agenten entwickeln häufig unerwünschte Verhaltensweisen, die scheinbar nicht mit der vorgegebenen Belohnungsstruktur übereinstimmen. Diese Diskrepanz erschwert die Akzeptanz von RL-Systemen in sicherheitskritischen Anwendungen.

Die aktuelle Forschung im Bereich Explainable Reinforcement Learning (XRL) kann bereits Fragen wie „Erkläre diese Aktion“ oder „Erkläre diese Trajektorie“ beantworten. Was jedoch fehlt, ist eine formale Definition von „Verhalten“ als Muster von Aktionen über viele Episoden hinweg. Die Autoren von arXiv:2603.23738v1 schließen diese Lücke, indem sie Verhalten als objektive Größe definieren und damit die neue Abfrage „Erkläre dieses Verhalten“ ermöglichen.

Mit dem Konzept der Behavior-Explainable Reinforcement Learning (BXRL) wird Verhalten zu einem ersten Klasse-Objekt. Ein Verhalten wird durch eine Messfunktion m : Π → ℝ beschrieben, die es Nutzern erlaubt, exakt das Muster zu spezifizieren, das sie interessant finden, und die Intensität dieses Musters in einer Policy zu quantifizieren. Durch kontrastive Verhaltensdefinitionen lässt sich die Frage „Warum bevorzugt der Agent a gegenüber a′?“ in die Frage „Warum ist m(π) hoch?“ umwandeln, die mittels Differenzierung untersucht werden kann.

Die Autoren implementieren keine neue Erklärungsmethode, sondern analysieren drei bestehende XRL-Ansätze und zeigen, wie diese angepasst werden können, um Verhalten zu erklären. Zusätzlich stellen sie eine JAX-Implementierung der HighwayEnv-Fahrumgebung vor, die eine flexible Schnittstelle zum Definieren, Messen und Differenzieren von Verhaltensmaßen in Bezug auf Modellparameter bietet. Diese Arbeit eröffnet einen klaren, mathematischen Rahmen für die Analyse und Erklärung von Verhaltensmustern in RL-Systemen.