ICPRL: VLMs lernen physikalische Intuition durch interaktive Kontrolle

Vision‑Language‑Modelle (VLMs) sind bislang vor allem bei statischer Bildanalyse stark, doch sie stoßen an ihre Grenzen, wenn es um interaktive Entscheidungsfindung in dynamischen physikalischen Räumen geht. Dort erfordert die Aufgabe nicht nur das Erkennen von Objekten, sondern auch das Planen und Anpassen an sich verändernde Ergebnisse.

Der neue Ansatz ICPRL (In‑Context Physikalisches Verstärkungslernen) löst dieses Problem, indem er VLMs beibringt, physikalische Intuition direkt aus pixelbasierten Interaktionen zu gewinnen. Inspiriert von In‑Context Verstärkungslernen (ICRL) nutzt ICPRL ein vision‑grounded Policy‑Modell, das über mehrere Runden mit der Methode Group Relative Policy Optimization (GRPO) trainiert wird. Dabei werden vielfältige Mehr‑Episode‑Interaktionsverläufe berücksichtigt, sodass der Agent seine Strategien anhand vergangener Versuchs‑Fehler‑Sequenzen anpassen kann – ohne dass Gewichte neu berechnet werden müssen.

Zur Unterstützung der Entscheidungsfindung wird ein separater Welt‑Modell‑Trainer eingesetzt, der die möglichen Konsequenzen von Aktionen vorhersagt. Im Inferenzmodus schlägt die Policy potenzielle Aktionen vor, während das Welt‑Modell die Ergebnisse prognostiziert und eine PUCT‑Suche auf der Wurzel‑Knoten‑Ebene leitet, um die vielversprechendste Handlung auszuwählen.

Tests auf dem DeepPHY‑Benchmark, einer Sammlung physikbasierter Puzzle‑Aufgaben, zeigen, dass ICPRL sowohl in der reinen Policy‑Phase als auch in der kombinierten Policy‑ und Welt‑Modell‑Phase signifikante Verbesserungen erzielt. Besonders bemerkenswert ist, dass die erzielten Fortschritte auch in völlig neuen, unbekannten Umgebungen erhalten bleiben, was die Fähigkeit des Modells unterstreicht, physikalische Dynamiken in‑Context zu erlernen.