Ein einheitlicher Blick auf Abdeckung in linearer Off-Policy-Bewertung

Off‑Policy‑Evaluation (OPE) ist ein zentrales Problem im Reinforcement Learning, bei dem die Zielwertfunktion anhand von Daten, die unter einer anderen Politik gesammelt wurden, geschätzt werden soll. In der linearen Variante von OPE werden die Fehlerabschätzungen häufig in der Form Evaluation error ≤ poly(Cπ, d, 1/n, log(1/δ)) ausgedrückt, wobei d die Dimensionalität der Features, Cπ ein Abdeckungsparameter und n die Stichprobengröße ist.

Obwohl für viele populäre Algorithmen unter stärkeren Voraussetzungen – etwa Bellman‑Komplettheit – solide Garantien vorliegen, fehlt ein klares Bild der Abdeckung im minimalen Setting, in dem lediglich die Zielwertfunktion linear in den Features realisierbar ist. Frühere Definitionen des Abdeckungsparameters weisen unerwünschte Eigenschaften auf und stehen in keinem direkten Zusammenhang mit etablierten Konzepten.

Die neue Arbeit liefert eine präzise Finite‑Sample‑Analyse des klassischen LSTDQ‑Algorithmus. Inspiriert von einer Instrumentvariablen‑Perspektive wird ein neuer Abdeckungsparameter eingeführt, die Feature‑Dynamics‑Coverage. Dieser Parameter kann als lineare Abdeckung in einem induzierten dynamischen System für die Feature‑Evolution interpretiert werden und verbindet die bisher getrennten Ansätze.

Unter zusätzlichen Annahmen wie Bellman‑Komplettheit reduziert sich die neue Definition auf die bekannten Abdeckungsparameter dieser Spezialfälle. Damit entsteht ein einheitliches Verständnis der Abdeckung in linearer OPE, das sowohl theoretische Klarheit als auch praktische Relevanz bietet.