Neues System prüft mathematische Fragen Schritt für Schritt

In einer kürzlich veröffentlichten Studie auf arXiv (2505.13903v1) wird ein innovatives Verfahren namens MathQ‑Verify vorgestellt, das darauf abzielt, mathematische Aufgaben systematisch zu prüfen und fehlerhafte Fragen zu filtern. Während bisherige Ansätze vor allem darauf fokussiert waren, korrekte Lösungswege zu generieren, liegt der Schwerpunkt von MathQ‑Verify auf der Validität der Fragen selbst.

Der fünfstufige Prozess beginnt mit einer Format‑Validierung, die überflüssige Anweisungen entfernt und die syntaktische Richtigkeit sicherstellt. Anschließend wird jede Frage formalisiert, in atomare Bedingungen zerlegt und gegen mathematische Definitionen überprüft. Danach werden logische Widersprüche unter den Bedingungen erkannt, gefolgt von einer zielorientierten Vollständigkeitsprüfung, die sicherstellt, dass alle notwendigen Informationen für die Lösung vorhanden sind.

Zur Bewertung des Ansatzes wurden bestehende Benchmarks sowie ein zusätzliches, von den Autoren erstelltes Datenset mit 2.147 manuell überprüften Fragen genutzt. Die Ergebnisse zeigen, dass MathQ‑Verify die Leistung in mehreren Tests um bis zu 25 Prozentpunkte gegenüber einem direkten Verifikationsbaseline verbessert. Mit einem leichten Abstimmungsmechanismus erreicht das System etwa 90 % Präzision und 63 % Recall.