Neue Gesetzmäßigkeit erklärt Stabilität von LLMs bei mehrmaliger Überprüfung

In einer kürzlich veröffentlichten Studie auf arXiv wurde ein neues Gesetz entdeckt, das die Stabilität von großen Sprachmodellen (LLMs) erklärt, wenn sie ihre Antworten mehrmals überarbeiten. Die Forschung zeigt, dass ein bestimmter Exponent, der die Kombination von Vorannahmen und Beweisdaten steuert, entscheidend dafür ist, ob die Modelle langfristig konsistente Wahrscheinlichkeiten liefern.

Der sogenannte „Belief‑Revision‑Exponent“ muss kleiner als eins sein, um asymptotische Stabilität zu gewährleisten. Das bedeutet, dass die Modelle bei wiederholten Revisionen nicht in einen unkontrollierten Wahrscheinlichkeitsrausch abgleiten, sondern sich schrittweise zu einem stabilen Ergebnis hin bewegen. Die Autoren haben diesen Zusammenhang theoretisch nachgewiesen und anschließend praktisch getestet.

Die empirische Analyse umfasste 4.975 Aufgaben aus vier hochrangigen Benchmark‑Sätzen – darunter GPQA Diamond, TheoremQA, MMLU‑Pro und ARC‑Challenge – sowie mehrere Modellfamilien wie GPT‑5.2 und Claude Sonnet 4. Die Ergebnisse zeigten, dass die Modelle in Einzelschritten fast bayessche Updates durchführen und nur leicht über der theoretischen Stabilitätsgrenze liegen. Bei Mehrschritt‑Experimenten sank der Exponent jedoch kontinuierlich, was zu kontraktiven, stabilen Dynamiken führte, die exakt den theoretischen Vorhersagen entsprachen.

Eine zusätzliche Token‑Level‑Validierung mit Llama‑3.3‑70B bestätigte das gleiche Muster, sowohl bei Log‑Wahrscheinlichkeiten als auch bei selbstberichteten Vertrauenswerten. Die Analyse der Update‑Komponenten offenbarte architekturspezifische Vertrauens‑Verhältnisse: GPT‑5.2 wog Prior und Evidenz gleichmäßig, während Claude Sonnet 4 tendenziell stärker auf neue Beweise setzte. Diese Arbeit liefert damit ein umfassendes Bild beobachtbarer Update‑Verhalten in LLMs und legt die Grundlage für zukünftige, stabilitätsorientierte Modelloptimierungen.