Neues PiJEPA-Framework beschleunigt sprachgesteuerte visuelle Navigation

In der Forschung zur embodied AI hat ein neues Verfahren namens PiJEPA einen bedeutenden Fortschritt erzielt. Das System kombiniert die Stärken von lernbasierten Navigationspolicies mit latenten Weltmodellen, um sprachgesteuerte visuelle Navigation effizienter zu gestalten.

Der erste Schritt von PiJEPA nutzt eine feinabgestimmte Octo-basierte Policy, die mit einem eingefrorenen Vision-Encoder (DINOv2 oder V-JEPA-2) arbeitet. Diese Policy wird auf dem CAST-Navigationsdatensatz trainiert und liefert eine informierte Aktionsverteilung, die sowohl die aktuelle Beobachtung als auch die sprachliche Anweisung berücksichtigt.

Im zweiten Schritt wird diese Aktionsverteilung als Ausgangspunkt für die Model Predictive Path Integral (MPPI)-Planung verwendet. Das separat trainierte JEPA-Weltmodell prognostiziert zukünftige latente Zustände im selben Embedding‑Raum des Vision‑Encoders. Durch die Warm‑Start‑Strategie aus der Policy‑Priorität erreicht der Planner schneller hochwertige Aktionssequenzen und erreicht das Ziel effizienter als herkömmliche, uninformed Gaussian‑Start‑Methoden.

Die Autoren untersuchten systematisch die Auswirkungen der Vision‑Encoder‑Backbones DINOv2 und V-JEPA-2 auf Policy und Weltmodell. In realen Navigationsaufgaben zeigte PiJEPA deutlich bessere Leistungen als reine Policy‑Ausführung oder uninformierte Weltmodellplanung, was die Vielseitigkeit und Effektivität des Ansatzes unterstreicht.