Physikbasierte Generative Modelle verbessern Offline‑RL bei Weltraumflügen

Reinforcement‑Learning‑Controller (RL) stoßen bei der Umsetzung in realen Systemen häufig an die Grenzen des sogenannten Simulation‑to‑Reality‑Gaps. Besonders im Weltraum, wo echte Trainingsdaten teuer und selten sind, erschwert diese Lücke die Entwicklung zuverlässiger Steuerungen.

Traditionelle Ansätze wie Systemidentifikation oder synthetische Datengenerierung setzen auf ausreichende Datenmengen und vereinfachte Modellannahmen. In datenarmen Szenarien führen diese Methoden oft zu ungenauen oder physikalisch inkonsistenten Ergebnissen.

Um dem entgegenzuwirken, wurde das Mutual‑Information‑based Split Variational Autoencoder (MI‑VAE) entwickelt – ein physikinformiertes generatives Modell, das gezielt die Abweichungen zwischen beobachteten Systemtrajektorien und physikbasierter Vorhersage erfasst.

Der latente Raum des MI‑VAE ermöglicht die Erzeugung synthetischer Datensätze, die die zugrunde liegenden physikalischen Gesetze einhalten. Dadurch entstehen realitätsnahe Trainingsmaterialien, die bisher fehlten.

In einer Teststudie auf einem planetaren Lander, bei dem nur wenige echte Daten zur Verfügung standen, wurde das MI‑VAE in einem Offline‑RL‑Training eingesetzt. Die Ergebnisse zeigten, dass die Ergänzung der Datensätze mit MI‑VAE‑Samples die Leistung der RL‑Agenten deutlich steigerte.

Im Vergleich zu herkömmlichen VAEs erzielte das MI‑VAE eine höhere statistische Treue, größere Stichprobenvielfalt und eine höhere Erfolgsrate der Steuerungs­policies. Diese Verbesserungen demonstrieren die Wirksamkeit des Ansatzes.

Das Vorgehen bietet somit eine skalierbare Lösung, um autonome Steuerungen in komplexen, datenbeschränkten Umgebungen robuster zu machen und die Entwicklung von Weltraumanwendungen voranzutreiben.