GeoChallenge: 90.000 neue Geometrie-Aufgaben testen KI-Logik

Ein neues Benchmark-Dataset namens GeoChallenge hat die Welt der KI-gestützten Geometrie auf den Kopf gestellt. Mit 90.000 automatisch generierten Multiple‑Choice-Fragen fordert es große Sprachmodelle (LLMs) dazu heraus, komplexe geometrische Beweise zu führen, die sowohl Textbeschreibungen als auch zugehörige Diagramme berücksichtigen.

Im Gegensatz zu bisherigen Tests, die oft nur wenige Aufgaben oder reine Textfragen enthalten, bietet GeoChallenge eine breite Palette an Schwierigkeitsgraden und detaillierte Komplexitätsbewertungen. Zusätzlich werden die Aufgaben mit formalen Sprachannotationen versehen, sodass Forscher gezielt die Stärken und Schwächen ihrer Modelle analysieren können.

Die ersten Experimente mit führenden LLMs zeigen einen deutlichen Leistungsunterschied zu menschlichen Prüfern. Das bislang bestperformende Modell, GPT‑5‑nano, erreicht 75,89 % exakte Übereinstimmung, während menschliche Experten durchschnittlich 94,74 % erreichen. Diese Kluft verdeutlicht, dass selbst die fortschrittlichsten KI‑Systeme noch nicht die Tiefe menschlicher geometrischer Intuition besitzen.

Eine weitere Analyse hat drei typische Fehlerquellen identifiziert: Erstens treten bei der Multiple‑Choice-Formulierung häufig exakte Übereinstimmungsfehler auf. Zweitens zeigen die Modelle eine schwache Abhängigkeit von visuellen Hinweisen, obwohl Diagramme ein zentrales Element der Aufgaben sind. Drittens neigen sie dazu, ihre Argumentation zu verlängern, ohne zu einem klaren Schluss zu gelangen – ein Phänomen, das als „übermäßiges, nicht convergentes Denken“ bezeichnet wird.

GeoChallenge stellt damit einen wichtigen Meilenstein dar, um die Grenzen von LLMs im Bereich der geometrischen Logik zu erforschen und bietet gleichzeitig ein robustes Werkzeug für die Entwicklung und Feinabstimmung zukünftiger KI‑Modelle.