NeSy-Route: Neuro-Symbolisches Benchmark für Routenplanung in der Fernerkundung

Die Fernerkundung spielt eine zentrale Rolle bei Katastrophenhilfe und Umweltstudien, indem sie komplexe Szenen erfasst und Entscheidungen unter Berücksichtigung vielfältiger Einschränkungen ermöglicht. Bisher konzentrierten sich die meisten Benchmarks auf die Wahrnehmungs- und Denkfähigkeiten multimodaler Large Language Models (MLLMs) und vernachlässigten die Planungskomponente.

Um diese Lücke zu schließen, wurde NeSy-Route entwickelt – ein umfangreiches neuro-symbolisches Benchmark, das die Planung von Routen in der Fernerkundung systematisch bewertet. Das System nutzt ein automatisiertes Datengenerierungsframework, das hochpräzise semantische Masken mit heuristischen Suchalgorithmen kombiniert, um vielfältige Routenplanungsaufgaben mit nachweislich optimalen Lösungen zu erzeugen.

NeSy-Route umfasst 10 821 Aufgaben, fast zehnmal so viele wie das bisher größte Benchmark. Ergänzt wird das Set durch ein dreistufiges, hierarchisches Evaluationsprotokoll, das eine präzise Analyse von Wahrnehmung, Logik und Planung gleichzeitig ermöglicht. Durch die umfassende Bewertung führender MLLMs zeigte sich, dass aktuelle Modelle erhebliche Schwächen in Wahrnehmung und Planung aufweisen.

Mit NeSy-Route wird ein neuer Standard für die Entwicklung leistungsfähigerer MLLMs in der Fernerkundung gesetzt, der sowohl die Forschung als auch die praktische Anwendung voranbringen soll.