Geometrische Kosten der diskreten Logik: Kontextabhängige Manifold-Dynamik

Eine neue Untersuchung auf arXiv (2603.23577v1) beleuchtet, wie große Sprachmodelle (LLMs) die notwendige Diskretisierung für logisches Denken erreichen. Während LLMs in der Regel in kontinuierlichen semantischen Räumen arbeiten, erfordert präzises logisches Schließen klare Entscheidungsgrenzen – ein Problem, das bisherige lineare, isometrische Theorien nicht lösen konnten.

Die Autoren stellen fest, dass der Aufgaben‑Kontext als nicht‑isometrischer dynamischer Operator wirkt und eine „topologische Verzerrung“ erzwingt. Durch die Anwendung der Gram‑Schmidt‑Decomposition auf die Residual‑Stream‑Aktivierungen wird ein zweigleisiger Mechanismus sichtbar: eine klassenunabhängige topologische Erhaltung, die die globale Struktur stabilisiert, und eine klassen­spezifische algebraische Divergenz, die abgrenzende Grenzen zwischen Konzepten schafft.

Die geometrische Entwicklung wird über ein breites Spektrum von Aufgaben hinweg nachgewiesen – von einfachen Zuordnungen bis hin zu komplexen Primzahltests. Besonders eindrucksvoll ist die gezielte Ablation des Divergenz‑Komponenten: Die Paritätsklassifikation fällt von 100 % auf ein Zufallsniveau von 38,57 %. Zudem identifizieren die Forscher eine dreiphasige, schichtweise Dynamik und zeigen, dass bei sozialem Druck (z. B. „Sycophancy‑Prompts“) die Divergenz reduziert wird, was zu einer „Manifold‑Verwickelung“ führt und die Entstehung von Halluzinationen erklärt.

Diese Ergebnisse stellen die bisherige lineare‑isometrische Annahme in Frage und demonstrieren, dass die Entstehung diskreter Logik in LLMs mit einem unvermeidlichen geometrischen Preis verbunden ist. Die Studie liefert damit einen wichtigen Beitrag zum Verständnis, wie Sprachmodelle komplexe logische Strukturen in ihrer internen Repräsentation realisieren.