Neurosymbolische Technik verbessert Video-basierte Robotik-Programmierung um 31 %

Durch die jüngsten Fortschritte bei Vision‑Language‑Modellen (VLMs) können Roboter nun Video‑Demonstrationen interpretieren und daraus ausführbaren Steuerungs­code generieren. Diese Fähigkeit eröffnet die Möglichkeit, robotische Aufgaben direkt aus Videoinstruktionen zu programmieren.

In der Praxis treten jedoch häufig Unterschiede zwischen dem Demo‑Umfeld und dem Einsatz‑Umfeld auf – sei es in der Wahrnehmung oder in den physischen Gegebenheiten. Diese Abweichungen führen zu prozeduralen Missverständnissen, weil aktuelle VLMs nicht über ein tiefes Verständnis der zugrunde liegenden kausalen Abläufe verfügen.

Um dieses Problem zu lösen, wurde das neurosymbolische Framework NeSyCR entwickelt. Es wandelt Video‑Demonstrationen in symbolische Trajektorien um, die die eigentliche Aufgaben­prozedur abbilden. Anschließend werden aus den Beobachtungen des Einsatz‑Umfelds kontrafaktische Zustände erzeugt, die die Inkompatibilitäten aufdecken. Durch die explorative Prüfung des symbolischen Zustandsraums schlägt NeSyCR verifizierbare prozedurale Anpassungen vor, die die Kompatibilität mit der ursprünglichen Demonstration wiederherstellen.

In Experimenten zeigte NeSyCR eine um 31,14 % höhere Erfolgsrate als der stärkste Vergleichsalgorithmus Statler. Die Verbesserung gilt sowohl für simulierte als auch für reale Manipulationsaufgaben, was die robuste Cross‑Domain‑Anpassung des Ansatzes unterstreicht.