Temperaturabhängige Leistung von Prompting-Strategien in erweiterten LLMs

Erweiterte Reasoning-Modelle markieren einen Wendepunkt in der Leistungsfähigkeit von Large Language Models (LLMs), indem sie explizite Berechnungen zur Laufzeit ermöglichen und damit komplexe Aufgaben lösen können.

In einer systematischen Untersuchung wurden die Prompting-Strategien Chain-of-Thought (CoT) und Zero-Shot (ZS) auf vier Temperaturwerten (0,0; 0,4; 0,7; 1,0) mit dem Modell Grok‑4.1 getestet. Dabei wurden 39 mathematische Aufgaben aus dem AMO‑Bench‑Benchmark – einem anspruchsvollen International Mathematical Olympiad‑Level‑Test – verwendet.

Die Ergebnisse zeigen, dass Zero‑Shot bei moderaten Temperaturen Spitzenleistungen erzielt: 59 % Genauigkeit bei T = 0,4 und T = 0,7. Chain‑of‑Thought hingegen liefert die besten Ergebnisse an den Temperaturextremen. Besonders auffällig ist, dass der Nutzen von Extended Reasoning mit steigender Temperatur zunimmt – von einem 6‑fachen Gewinn bei T = 0,0 bis zu 14,3‑fach bei T = 1,0.

Diese Erkenntnisse legen nahe, dass Temperatur und Prompting-Strategie gemeinsam optimiert werden sollten. Sie stellen die gängige Praxis, bei Reasoning‑Aufgaben immer T = 0 zu verwenden, in Frage und eröffnen neue Wege zur Leistungssteigerung von LLMs.