Neues Benchmark Riemann-Bench testet KI in forschungsrelevanter Mathematik

In den letzten Jahren haben KI‑Systeme die International Mathematical Olympiad (IMO) mit Goldmedaillen‑Leistungen bezwungen und damit ihre Fähigkeit im kompetitionsorientierten Problemlösen unter Beweis gestellt. Doch diese Art von Mathematik ist nur ein enges Ausschnitt des gesamten Forschungsfeldes: die Aufgaben stammen aus begrenzten Bereichen, erfordern kaum fortgeschrittene Werkzeuge und belohnen häufig clevere Tricks statt tiefgreifender theoretischer Einsichten.

Um diesen Lücken zu schließen, wurde das private Benchmark „Riemann‑Bench“ ins Leben gerufen. Es umfasst 25 von Experten kuratierte Probleme, die speziell darauf ausgelegt sind, KI‑Modelle auf forschungsrelevanter Mathematik zu prüfen. Die Aufgaben wurden von Professoren der Ivy‑League‑Universitäten, promovierten Studierenden und PhD‑Inhabern, die bereits IMO‑Medaille gewonnen haben, verfasst und benötigen in der Regel mehrere Wochen, um von den Autoren selbst gelöst zu werden.

Jedes Problem wird von zwei unabhängigen Fachleuten im Blindverfahren gelöst, sodass die Lösungen eindeutig und in geschlossener Form vorliegen. Die Ergebnisse werden anschließend durch programmatische Prüfer verifiziert, um die Richtigkeit sicherzustellen. Die Bewertung der führenden KI‑Modelle erfolgt als unbeschränkte Forschungsagenten, die volles Zugriffsrecht auf Programmierwerkzeuge, Suchfunktionen und offene Denkprozesse besitzen. Für jede Aufgabe werden 100 unabhängige Durchläufe durchgeführt, und ein statistisch unvoreingenommener Schätzer ermittelt die durchschnittliche Leistung.

Die Resultate zeigen, dass sämtliche aktuellen Spitzenmodelle unter 10 % liegen – ein deutlicher Hinweis auf die große Kluft zwischen olympiad‑ähnlichem Problemlösen und echter forschungsrelevanter mathematischer Argumentation. Durch die vollständige Vertraulichkeit des Benchmarks wird sichergestellt, dass die gemessene Leistung die echte mathematische Kompetenz widerspiegelt und nicht lediglich das Auswendiglernen von Trainingsdaten.