LLMs prüfen mathematische Beweise: Open‑Source fast so gut wie Frontier‑Modelle

In den letzten Jahren haben sich große Sprachmodelle (LLMs) als starke Kandidaten für mathematische Wettbewerbe etabliert und sogar komplexe offene Probleme gelöst. Damit ihre Ergebnisse jedoch Vertrauen gewinnen, müssen die von ihnen generierten Beweise auf Fehler geprüft werden. Hier kommen LLM‑Judges zum Einsatz, die zunehmend eingesetzt werden, um die Qualität dieser Beweise zu bewerten.

Eine aktuelle Untersuchung verglich vier Open‑Source‑Modelle mit zwei führenden Frontier‑LLMs anhand von Datensätzen, die von Menschen bewertete, natursprachliche Beweise zu mathematischen Problemen enthalten. Die Bewertung erfolgte nach zwei Hauptkriterien: der Genauigkeit der Verifikation und der Selbstkonsistenz, also dem Anteil gleichbleibender Urteile bei wiederholten Bewertungen desselben Beweises.

Die Ergebnisse zeigen, dass die kleineren Open‑Source‑Modelle in der Genauigkeit nur etwa 10 % hinter den Frontier‑Modellen zurückbleiben, jedoch bis zu 25 % weniger konsistent sind. Zudem ist die Verifikationsgenauigkeit bei allen Modellen stark von der Prompt-Auswahl abhängig. Durch eine gezielte Prompt‑Suche, die auf die Schwachstellen der kleineren Modelle abzielt, konnten die Forscher ein Ensemble spezialisierter Prompts entwickeln, das die Genauigkeit um bis zu 9,1 % und die Selbstkonsistenz um 15,9 % steigert.

Diese Erkenntnisse deuten darauf hin, dass Open‑Source‑LLMs die mathematischen Fähigkeiten besitzen, um Beweise auf dem Niveau der Frontier‑Modelle zu prüfen, solange sie mit geeigneten, speziell entwickelten Prompts unterstützt werden. Damit eröffnet sich die Möglichkeit, leistungsfähige Verifikationswerkzeuge breiter zugänglich zu machen und die Abhängigkeit von teuren, proprietären Modellen zu reduzieren.