EVMs im dynamischen Geo‑Umfeld: EVGeoQA setzt neue Maßstäbe

Large Language Models (LLMs) haben in den letzten Jahren beeindruckende Fortschritte im logischen Denken gezeigt, doch ihr Potenzial für zielgerichtete Erkundungen in dynamischen geo‑räumlichen Umgebungen bleibt bislang wenig erforscht. Traditionelle Geo‑Spacial‑Question‑Answering‑Benchmarks konzentrieren sich vorwiegend auf statische Abrufaufgaben und vernachlässigen die Komplexität echter Planungsaufgaben, die sich aus sich verändernden Nutzerstandorten und mehrdimensionalen Einschränkungen ergeben.

Um diese Lücke zu schließen, wurde EVGeoQA entwickelt – ein neuartiges Benchmarking‑Set, das auf Szenarien des Ladens von Elektrofahrzeugen basiert. Jede Anfrage in EVGeoQA ist eindeutig an die aktuelle Koordinate des Nutzers gebunden und kombiniert zwei gleichzeitig zu erfüllende Ziele: die Notwendigkeit einer Ladestation und die Präferenz für eine nahegelegene Aktivität. Diese doppelte Zielsetzung macht die Aufgabenstellung besonders anspruchsvoll und spiegelt reale Entscheidungsprozesse wider.

Zur systematischen Bewertung dieser komplexen Aufgaben wurde GeoRover eingeführt, ein generisches Evaluationsframework, das auf einer tool‑augmentierten Agentenarchitektur basiert. GeoRover ermöglicht es, die Fähigkeit von LLMs zu messen, dynamisch und mit mehreren Zielen zu erkunden, indem es die Nutzung von externen Werkzeugen in den Entscheidungsprozess integriert.

Die durchgeführten Experimente zeigen, dass LLMs zwar erfolgreich Werkzeuge einsetzen können, um Teilaufgaben zu lösen, jedoch bei langfristiger räumlicher Erkundung noch Schwierigkeiten haben. Interessanterweise lässt sich beobachten, dass LLMs in der Lage sind, historische Erkundungswege zusammenzufassen, um die Effizienz zukünftiger Erkundungen zu steigern. Diese Erkenntnisse positionieren EVGeoQA als anspruchsvolles Testfeld für die Weiterentwicklung geo‑räumlicher Intelligenz in LLMs.

Das Datenset sowie die zugehörigen Prompt‑Beispiele sind unter https://github.com/Hapluckyy/EVGeoQA/ verfügbar.