Cross‑Fitted Proximal Learning verbessert Modellbasiertes Reinforcement Learning

Modellbasiertes Reinforcement Learning (RL) gilt als besonders vielversprechend, weil es explizit Belohnungs‑ und Übergangsmuster erfasst und damit planbare Rollouts ermöglicht. In Offline‑Umgebungen, in denen Beobachtungsdaten von versteckten Störfaktoren beeinflusst werden, kann die daraus abgeleitete Modellschätzung jedoch verzerrt sein. Dieses Problem verschärft sich bei teilweise beobachtbaren Systemen, in denen latente Variablen gleichzeitig Aktionen, Belohnungen und zukünftige Beobachtungen steuern.

Neueste Forschung hat gezeigt, dass die Bewertung von Politiken in solchen konfundierten POMDPs auf die Schätzung von sogenannten „Bridge‑Funktionen“ reduziert werden kann. Diese Funktionen – die Belohnungs‑Emissionen und Beobachtungs‑Übergänge verbinden – müssen bestimmte bedingte Momentrestriktionen (CMRs) erfüllen. Das aktuelle Papier untersucht die statistische Estimation dieser Bridge‑Funktionen.

Die Autoren formulieren das Bridge‑Learning als CMR‑Problem, wobei Störgrößen durch bedingte Mittelwert‑Einbettungen und bedingte Dichten beschrieben werden. Anschließend entwickeln sie eine K‑Fold‑Cross‑Fit‑Erweiterung des bestehenden zweistufigen Bridge‑Estimators. Diese Methode nutzt die vorhandenen Daten effizienter als ein einzelner Stichproben‑Split und bewahrt dabei die ursprüngliche Identifikationsstrategie.

Darüber hinaus liefern die Forscher einen Oracle‑Vergleichs‑Grenzwert für den Cross‑Fit‑Estimator und zerlegen den Fehler in einen Stufe‑I‑Term, der durch die Schätzung der Störgrößen entsteht, und einen Stufe‑II‑Term, der aus der empirischen Mittelung resultiert. Diese Ergebnisse legen einen klaren Weg für robustere Offline‑RL‑Methoden in komplexen, teilweise beobachtbaren Szenarien nahe.