Neues Phänomen: „Robert Boulton“-Singularität in rekursiver KI entdeckt

arXiv – cs.LG Original ≈1 Min. Lesezeit
Anzeige

Eine kürzlich veröffentlichte Studie auf arXiv beleuchtet ein bislang unentdecktes Problem bei generativen KI‑Modellen, die auf rekursiv erzeugten synthetischen Daten trainiert werden. Die Autoren zeigen, dass die übliche Messgröße Perplexität (PPL) in stabilisierten Kontexten irreführend sein kann und ein neues Versagen namens „Semantic Tunneling“ auftritt.

Im Rahmen eines rigorosen Sliding‑Window‑Protokolls mit 1500 Zeilen wurde beobachtet, dass ein Basismodell trotz hoher grammatischer Fließfähigkeit (PPL ≈ 83,9) innerhalb von nur sieben Generationen seine semantische Vielfalt verliert. Das Modell stürzt in einen einzigen, niedrig‑Entropie‑Narrativ‑Anfänger – die sogenannte „Robert Boulton“-Singularität. Dabei schrumpft die globale effektive Rangzahl des latenten Raums von 3,62 auf 2,22, was einen vollständigen Kollaps der Modellmanifold bedeutet.

Um diesem Problem entgegenzuwirken, wenden die Forscher das neu etablierte Multi‑Scale Negative Coupled Information Systems (MNCIS) Framework an. Durch Adaptive Spectral Negative Coupling (ASNC) wird ein topologischer Operator aktiviert, der die Manifold aktiv entfaltet. Das Ergebnis ist ein Anstieg des effektiven Rangs von 3,62 auf 5,35, wodurch das Modell ein hyper‑diverses „Artificial Manifold“ bildet, das die Anziehungskraft semantischer Attraktoren abwehrt und die lange Schwanzverteilung der Trainingsdaten bewahrt.

Ähnliche Artikel