Wie man Belohnungen manipuliert: Neue Grenzen für Reward‑Poisoning in linearen MDPs

In der neuesten Veröffentlichung auf arXiv wird ein umfassendes Bild von Reward‑Poisoning‑Angriffen im Bereich des Reinforcement Learning (RL) gezeichnet. Dabei manipuliert ein Angreifer gezielt die Belohnungen innerhalb eines festgelegten Budgets, um die Lernstrategie des Zielagenten so zu verändern, dass sie den eigenen Zielen entspricht.

Frühere Studien konzentrierten sich überwiegend auf die Bedingungen, die einen erfolgreichen Angriff ermöglichen. Nur wenige haben die Unmöglichkeit gezielter Angriffe untersucht. Das vorliegende Papier liefert erstmals eine präzise Notwendigkeits‑ und Vollständigkeits‑Charakterisierung für lineare Markov‑Entscheidungsprozesse (MDPs) unter Reward‑Poisoning. Damit wird klar abgegrenzt, welche RL‑Instanzen anfällig sind und welche von Natur aus robust bleiben, selbst wenn klassische, nicht‑robuste RL‑Algorithmen eingesetzt werden.

Die theoretische Analyse geht über lineare MDPs hinaus: Durch die Approximation tiefer RL‑Umgebungen als lineare MDPs zeigt die Arbeit, dass das entwickelte Rahmenwerk die Angreifbarkeit zuverlässig erkennt und die verwundbaren Fälle effizient angreifen kann. Damit wird sowohl die theoretische Relevanz als auch die praktische Anwendbarkeit der neuen Charakterisierung deutlich.