Soft MPCritic: Amortisierte Modellprädiktive Wertiteration

Ein neues Forschungsprojekt aus dem Bereich der künstlichen Intelligenz kombiniert die Stärken von Reinforcement Learning (RL) und Model Predictive Control (MPC) zu einem leistungsfähigen, skalierbaren System. Das Ergebnis, genannt soft MPCritic, nutzt eine sogenannte „soft“ Wertraum-Strategie, um gleichzeitig Online‑Kontrolle und Zielwertgenerierung zu optimieren.

Im Kern setzt soft MPCritic auf Model Predictive Path Integral Control (MPPI) und trainiert eine Terminal‑Q‑Funktion mittels fitted value iteration. Durch diese Vorgehensweise wird die erlernte Wertfunktion eng an den Planner angepasst und die effektive Planungs­horizont verlängert, ohne die Rechenlast zu erhöhen. Ein innovatives Feature ist die amortisierte Warm‑Start‑Strategie, die bereits geplante Open‑Loop‑Aktionssequenzen aus vergangenen Beobachtungen wiederverwendet, um batched MPPI‑basierte Wertziele zu berechnen.

Das System arbeitet mit einer Ensemble‑Ansatz für dynamische Modelle, die für die Vorhersage der nächsten Zustands­schritte optimiert sind. Dadurch kann soft MPCritic robuste, kurz‑horizontale Planung in einer Szenario‑basierten Umgebung durchführen und dabei klassische sowie komplexe Steuerungsaufgaben erfolgreich bewältigen. Die Ergebnisse zeigen, dass soft MPCritic eine praktikable und skalierbare Blaupause für die Synthese von MPC‑Politiken darstellt, insbesondere in Situationen, in denen direkte, lang‑horizontale Planung oder Policy‑Extraktion versagen.