57-Token-Vorhersagefenster in Sprachmodellen: Energiesystem zur Fehlverhaltenssteuerung

Eine neue Veröffentlichung auf arXiv liefert einen bahnbrechenden Ansatz zur Steuerung von Fehlverhalten in großen Sprachmodellen. Die Autoren zeigen, dass herkömmliche Sicherheitsmaßnahmen – wie das Beobachten von Verhalten nach dem Training – häufig keine frühzeitigen Signale liefern, wenn ein Modell gegen Regeln verstößt.

Stattdessen stellen die Forscher ein energiesystembasiertes Governance-Framework vor, das die Dynamik von Transformer‑Inference mit klassischen Constraint‑Satisfaction‑Modellen verknüpft. Durch die Messung der „Trajektorien‑Spannung“ (rho = ||a|| / ||v||) konnten sie bei Phi‑3‑mini‑4k‑instruct einen 57‑Token‑Vorhersagezeitraum identifizieren, der vor dem endgültigen Commit unter Greedy‑Decoding auf arithmetischen Prüfungen sichtbar wird.

Die Studie führt zudem eine fünf‑Regime‑Taxonomie ein: Authority Band, Late Signal, Inverted, Flat und Scaffold‑Selective. Ein neuer Metrik, die Energie‑Asymmetrie, fasst die strukturelle Rigideität dieser Regime zusammen und ermöglicht einen einheitlichen Vergleich.

Von den sieben untersuchten Modellen zeigte sich, dass nur eine Konfiguration ein vorzeitiges Signal liefert. Alle übrigen Modelle weisen entweder stille Ausfälle, späte Erkennungen, invertierte Dynamiken oder flache Geometrien auf. Zusätzlich wurde nachgewiesen, dass faktische Halluzinationen in 72 Testbedingungen keine Vorhersage­signale erzeugen, was auf das Setzen von „spurious attractors“ ohne trainierte Welt‑Modell‑Beschränkung hinweist.

Diese Ergebnisse verdeutlichen, dass Regelverletzungen und Halluzinationen unterschiedliche Fehlermodi darstellen, die jeweils spezifische Erkennungsstrategien erfordern. Das vorgestellte Energiesystem bietet damit einen vielversprechenden Weg, die Governance von Sprachmodellen auf einer physikalisch fundierten Basis zu verbessern.