World2Mind: Neues Toolkit für räumliches Denken in multimodalen Modellen

Die Fähigkeit, komplexe räumliche Zusammenhänge zuverlässig zu erkennen, bleibt ein zentrales Problem für aktuelle multimodale Foundation Models (MFMs). Viele Ansätze greifen zu stark auf 3‑D‑Grounding‑Daten zurück und riskieren, statistische Abkürzungen zu überanpassen, während andere ausschließlich auf 2‑D‑Bilder beschränkt bleiben und damit die Genauigkeit und Generalisierbarkeit in unbekannten Szenarien einschränken.

Mit World2Mind wird diese Lücke geschlossen. Das Toolkit ist trainingsfrei und nutzt 3‑D‑Rekonstruktion sowie Instanzsegmentierung, um strukturierte kognitive Karten zu erstellen. So können MFMs gezielt räumliches Wissen über relevante Landmarken und Routen erwerben, ohne zusätzliche Lernschritte.

Ein zentrales Element ist die Allocentric‑Spatial‑Tree (AST), die mithilfe elliptischer Parameter die top‑down‑Anordnung von Landmarken exakt abbildet. Um die inhärenten Ungenauigkeiten der 3‑D‑Rekonstruktion zu kompensieren, führt World2Mind einen dreistufigen Denkprozess ein: zunächst wird die Einsatzfähigkeit der Werkzeuge bewertet, danach werden multimodale Hinweise getrennt gesammelt und schließlich werden geometrische und semantische Informationen miteinander verknüpft.

Umfangreiche Experimente zeigen, dass World2Mind die Leistung führender Modelle wie GPT‑5.2 um 5 % bis 18 % steigert. Besonders bemerkenswert ist, dass reine Text‑Modelle, die ausschließlich die AST‑Struktur nutzen, komplexe 3‑D‑Räumlich‑logische Aufgaben lösen können und dabei Leistungen erreichen, die nahe an fortgeschrittenen multimodalen Modellen liegen.