Malliavin-Calculus für Gegenfaktische Gradientenschätzung in adaptivem IRL

Ein neuer Ansatz aus der Mathematik, der Malliavin-Calculus, eröffnet in der adaptiven Inverse Reinforcement Learning (IRL) eine völlig neue Möglichkeit, die versteckten Kostenfunktionen von Lernagenten zu rekonstruieren. Dabei wird nicht mehr aktiv mit dem Agenten interagiert, sondern seine passiven Gradienten beobachtet, während er selbst Reinforcement Learning durchführt.

Die Herausforderung bei dieser passiven Methode besteht darin, dass die benötigten Gradienten „Gegenfaktisch“ sind – sie beziehen sich auf Ereignisse, die unter der tatsächlichen Trajektorie des Agenten praktisch unmöglich sind. Traditionelle Monte‑Carlo‑Schätzungen stoßen hier an ihre Grenzen, und gängige Glättungstechniken führen zu langsamen Konvergenzraten.

Durch die Umformulierung der Gegenfaktischen Bedingung als Verhältnis unbedingter Erwartungen, die Malliavin‑Quantitäten enthalten, kann das neue Verfahren die Gradienten effizient schätzen. Die Autoren haben die notwendigen Malliavin‑Ableitungen sowie deren adjungierten Skorohod‑Integrale für allgemeine Langevin‑Strukturen abgeleitet und daraus einen konkreten Algorithmus entwickelt, der diese Berechnungen nutzt.

Das Ergebnis ist ein passiver Langevin‑basierter Algorithmus, der adaptive IRL mit Standard‑Schätzraten ermöglicht und damit einen bedeutenden Fortschritt für die Analyse von Lernagenten darstellt, die ohne direkte Rückmeldung ihre Ziele optimieren.