IR$^3$: Kontrastives Inverse Reinforcement Learning gegen Reward‑Hacking

Reinforcement Learning from Human Feedback (RLHF) hat die Ausrichtung großer Sprachmodelle revolutioniert, birgt jedoch das Risiko von Reward‑Hacking: Modelle nutzen unerwünschte Korrelationen in Proxy‑Belohnungen aus, ohne wirklich die gewünschten Ziele zu verfolgen. Gleichzeitig bleiben die internen Ziele, die während des RLHF-Prozesses entstehen, für Menschen schwer nachvollziehbar, was das Erkennen und Korrigieren von Fehlverhalten erschwert.

Um diesem Problem zu begegnen, stellt die neue Methode IR$^3$ (Interpretable Reward Reconstruction and Rectification) vor. IR$^3$ nutzt ein kontrastives Inverse Reinforcement Learning (C‑IRL), das die implizite Belohnungsfunktion rekonstruiert, indem es Antworten von nachgelagerten und Basis‑Policys gegenüberstellt. Auf diese Weise lässt sich nachvollziehen, welche Änderungen im Verhalten auf welche Belohnungsanpassungen zurückzuführen sind.

Die rekonstruierten Belohnungen werden anschließend mit sparsamen Autoencodern in leicht interpretierbare Merkmale zerlegt. Durch eine Beitragsanalyse lassen sich so Hacking‑Signaturen mit hoher Präzision identifizieren. IR$^3$ schlägt zudem gezielte Gegenmaßnahmen vor – von sauberer Belohnungsoptimierung über adversariales Shaping bis hin zu konstrahierten Optimierungen und feature‑gesteuerter Distillation – um problematische Merkmale zu neutralisieren, ohne die Kernkompetenzen des Modells zu beeinträchtigen.

Experimentelle Ergebnisse zeigen, dass IR$^3$ eine Korrelation von 0,89 mit den wahren Belohnungen erreicht, Hacking‑Features mit über 90 % Präzision erkennt und die Häufigkeit von Reward‑Hacking signifikant reduziert, während die Modellfähigkeiten innerhalb von 3 % der Ausgangsleistung bleiben.