Regulierte latente Dynamikvorhersage: starke Basis für Verhaltenstiefenmodelle

Behavioral Foundation Models (BFMs) versprechen Agenten, die sich an beliebige unbekannte Belohnungen oder Aufgaben anpassen können. In der Praxis erreichen sie jedoch nur nahezu optimale Strategien, wenn die Belohnungsfunktionen im Spannungsbereich bereits vorhandener Zustandsmerkmale liegen. Damit wird die Auswahl dieser Merkmale zu einem entscheidenden Faktor für die Ausdruckskraft der Modelle.

Um die erforderlichen Zustandsmerkmale zu erlernen, setzen BFMs häufig auf komplexe Lernziele und benötigen umfangreiche Datensätze, die eine ausreichende Abdeckung sicherstellen. Diese Komplexität wirft die Frage auf, ob solche aufwändigen Repräsentationslernziele wirklich notwendig sind, um in der Zero‑Shot‑RL‑Umgebung erfolgreich zu sein.

Die Autoren untersuchen daher die klassische selbstüberwachende Vorhersage des nächsten Zustands im latenten Raum. Sie stellen fest, dass ein solches Ziel allein dazu neigt, die Ähnlichkeit zwischen Zustandsmerkmalen zu erhöhen und damit den Spannungsbereich zu verkleinern.

Als Lösung schlagen sie Regularized Latent Dynamics Prediction (RLDP) vor, das eine einfache Orthogonalitätsregularisierung einführt, um die Vielfalt der Merkmale zu erhalten. Diese Ergänzung ermöglicht es, die Leistung komplexerer Methoden zu erreichen oder zu übertreffen, ohne deren Komplexität.

Durch umfangreiche Experimente zeigen die Autoren, dass RLDP besonders in Szenarien mit geringer Databedeckung stark bleibt, während frühere Ansätze dort deutlich schlechter abschneiden. Damit liefert RLDP einen robusten und effizienten Ansatz für die Zero‑Shot‑RL‑Anwendung von BFMs.