MatheMagic: Dynamische Mathematik-Benchmarks ohne Memorierung

Die Bewertung mathematischer Fähigkeiten ohne Einfluss von Memorierung ist bislang schwierig. Modelle können ein öffentliches Testset auswendig lernen, und bestehende Benchmarks zeigen oft Überanpassung, weil sie nur wenige Symbole und Regeln nutzen und geschlossene Antworten verlangen.

In der neuen Studie wird dieses Problem umgekehrt: Durch gezielte Veränderung der Bedeutung von Zahlen und Operatoren entstehen dynamische, kontrafaktische Testaufgaben. Diese Aufgaben werden erst zum Testzeitpunkt generiert und lassen sich automatisch prüfen, wodurch Modelle auf ihre wahre Induktions- und Deduktionsfähigkeit getestet werden.

Die Experimente mit dem Tool „MatheMagic“ zeigen, dass Modelle Deduktion leichter lösen als Induktion, aber dennoch zu klassischen Mathematikaufgaben zurückkehren. Außerdem fehlt den Modellen die generelle Fähigkeit, über verschiedene Aufgaben hinweg zu reasoning, und ein Feintuning auf induktive Aufgaben führt zu schlechter Generalisierung.