Transformers sind Bayessche Netzwerke – neue Forschung liefert Beweis

Eine aktuelle Veröffentlichung auf arXiv (2603.17063v1) liefert einen präzisen Beweis dafür, dass Transformer‑Modelle – die derzeit dominante Architektur in der KI – tatsächlich Bayessche Netzwerke sind. Die Autoren zeigen dies anhand von fünf klaren Argumenten.

Erstens wird bewiesen, dass jeder Sigmoid‑Transformer, egal ob mit trainierten, zufälligen oder konstruierten Gewichten, gewichtete Loopy‑Belief‑Propagation (BP) auf seinem impliziten Faktorgraphen ausführt. Eine einzelne Transformerlayer entspricht genau einer Runde BP, und das gilt für sämtliche Gewichtskonfigurationen.

Zweitens wird konstruktiv nachgewiesen, dass ein Transformer exakt BP auf jedem definierten Wissensbasis ausführen kann. Für Wissensbasen ohne zirkuläre Abhängigkeiten liefert das Modell provierbare, korrekte Wahrscheinlichkeitsabschätzungen an jedem Knoten.

Drittens wird die Einzigartigkeit gezeigt: Ein Sigmoid‑Transformer, der exakte Posterior-Wahrscheinlichkeiten liefert, muss zwangsläufig BP‑Gewichte besitzen. Es gibt keinen alternativen Pfad innerhalb der Sigmoid‑Architektur, der zu exakten Posteriors führen würde.

Viertens wird die boolesche Struktur der Transformerlayers erläutert: Die Attention‑Mechanik entspricht einem AND‑Operator, die Feed‑Forward‑Network (FFN) einem OR‑Operator, und deren strikte Abfolge entspricht exakt dem Gather/Update‑Algorithmus von Pearl.

Schließlich bestätigen experimentelle Ergebnisse alle formalen Resultate und unterstreichen die praktische Wirksamkeit von Loopy‑Belief‑Propagation, obwohl bislang keine theoretische Konvergenzgarantie existiert. Zusätzlich wird gezeigt, dass verifizierbare Inferenz nur bei endlichem Konzeptraum möglich ist.