Neuer Transformer für Offline RL: Präzise Zielausrichtung bei gewünschter Rendite

Offline-Reinforcement-Learning hat in den letzten Jahren bemerkenswerte Fortschritte in Bereichen wie Robotik, autonomem Fahren und medizinischer Entscheidungsfindung erzielt. Dabei konzentrieren sich die meisten Ansätze darauf, aus vorhandenen Datensätzen Policies zu trainieren, die die kumulative Belohnung maximieren. In vielen praktischen Anwendungen ist jedoch eine genaue Steuerung der Leistungsniveaus der Policy wichtiger als das Erreichen der maximalen Rendite.

Reinforcement Learning via Supervised Learning (RvS) wandelt Offline‑RL in eine Sequenzmodellierungsaufgabe um und ermöglicht die Erzeugung vielfältiger Policies, die an unterschiedliche gewünschte Renditen angepasst werden können. Bestehende RvS‑Transformers wie der Decision Transformer (DT) haben jedoch Schwierigkeiten, die tatsächlich erreichte Belohnung zuverlässig an die gesetzten Zielwerte anzupassen, insbesondere bei interpolierten oder extrapolierten Renditen außerhalb des Trainingsdatensatzes.

Um dieses Problem anzugehen, wurde der neue Ansatz Doctor vorgestellt. Doctor nutzt einen doppelten Prüfmechanismus, um die Zielausrichtung des Transformers für Offline‑RL zu verbessern. Dadurch wird die Übereinstimmung zwischen Ziel- und tatsächlicher Rendite sowohl innerhalb als auch außerhalb des Datensatzes deutlich erhöht, während gleichzeitig eine präzise und flexible Kontrolle über die Policy‑Leistung ermöglicht wird.

Auf dem Benchmark für dynamische Behandlungsregime, EpiCare, demonstriert Doctor, wie die Aggressivität einer Behandlungs‑Policy fein abgestimmt werden kann. Dabei wird ein ausgewogenes Verhältnis zwischen therapeutischen Nutzen und Risiko von Nebenwirkungen erreicht, was die Vielseitigkeit und Anwendbarkeit des Modells in medizinischen Szenarien unterstreicht.