Neue Benchmark zeigt Schwächen von Open-Weight-LLMs beim mathematischen Denken

Eine aktuelle Studie aus dem arXiv-Repository präsentiert einen robusten Reasoning Benchmark, der die Leistungsfähigkeit von Large Language Models (LLMs) im mathematischen Denken unter realistischen Bedingungen prüft. Durch die Einführung einer 14‑Stufen‑Störungspipeline werden die Modelle gezielt auf ihre Widerstandsfähigkeit gegen Textformatierungsvariationen getestet.

Die Pipeline wurde auf den AIME‑2024‑Datensatz angewendet, um acht führende Modelle zu bewerten. Während die neuesten, proprietären Modelle eine bemerkenswerte Resilienz zeigen, leiden Open‑Weight‑Modelle – von 7 B bis 120 B Parametern – unter katastrophalen Genauigkeitsverlusten. Die durchschnittliche Genauigkeit sinkt bei Störungen um bis zu 55 %, in einigen Fällen sogar um 100 %.

Um zwischen mechanischen Parsing‑Fehlern und eigentlichen Rechenfehlern zu unterscheiden, wurde die Arbeits­speicherkapazität der Modelle isoliert. Die Modelle mussten mehrere ungestörte mathematische Aufgaben nacheinander innerhalb eines einzigen Kontextfensters lösen. Die Ergebnisse zeigen, dass die Genauigkeit bei aufeinanderfolgenden Aufgaben bei Open‑Weight‑Modellen abnimmt, was darauf hinweist, dass Zwischenschritte die Standard‑Dense‑Attention‑Mechanismen dauerhaft „verschmutzen“.

Die Autoren argumentieren, dass zukünftige Rechenarchitekturen explizite Kontext‑Reset‑Mechanismen in die eigene Chain‑of‑Thought‑Logik integrieren müssen. Dies wirft grundlegende Fragen zur optimalen Granularität atomarer Rechenaufgaben auf und markiert einen wichtigen Schritt auf dem Weg zu verlässlicheren KI‑Systemen.