Neues 3D‑Vision‑Language-Modell löst komplexe Box‑Umarrangements in Echtzeit

Forscher haben ein neues System namens RAMP‑3D entwickelt, das natürliche Sprachziele in 3D‑Umgebungen umsetzt, ohne auf symbolische Planer zurückgreifen zu müssen. Durch die Kombination von RGB‑D‑Sicht und sprachlichen Vorgaben erzeugt das Modell reaktive Masken, die genau angeben, welches Objekt aufgenommen und wo platziert werden soll.

Im Gegensatz zu bisherigen Ansätzen, die entweder fragile relationale Darstellungen nutzen oder 2‑D‑Vision‑Language‑Modelle für die Aktionssequenzvorhersage einsetzen, nutzt RAMP‑3D die starke 3‑D‑Segmentierung von Referenten. Das Ergebnis ist eine robuste Planung, die selbst bei 1 bis 30 Boxen und komplexen sprachlichen Einschränkungen zuverlässig funktioniert.

In 11 verschiedenen Aufgabenvarianten erreichte RAMP‑3D einen Erfolgswert von 79,5 % bei langfristigen Umarrangements und übertraf signifikant 2‑D‑basierte Baselines. Die Studie zeigt, dass maskenbasierte Reaktionsstrategien eine vielversprechende Alternative zu symbolischen Pipelines für die Planung mehrstufiger Aufgaben darstellen.