Klassische neuronale Netze zeigen überraschend nichtklassische Statistiken

In einer neuen Studie wird ein einfaches, klassisches neuronales Netzwerk namens NCnet vorgestellt, das unter normalen Trainingsbedingungen nichtklassische statistische Muster aufweist. Die Autoren messen diese „Nichtklassizität“ mit dem S‑Statistikwert der CHSH‑Ungleichung, die ursprünglich aus der Quantenmechanik stammt.

Der Effekt entsteht durch Konkurrenz der Gradienten in versteckten Schichten, die von mehreren Aufgaben gemeinsam genutzt werden. Interessanterweise kann ein Aufgaben­kopf ohne explizite Kommunikationsverbindungen die Trainingsaufgabe anderer Köpfe über lokale Verlustschwingungen indirekt erkennen, was zu nichtlokalen Korrelationen in den Trainingsresultaten führt.

Im ressourcenarmen Bereich steigt der S‑Wert allmählich an und nähert sich dem klassischen Obergrenzenwert von 2, was darauf hindeutet, dass Unteranpassung mit zunehmender Kapazität abnimmt. Sobald das Modell die kritische Größe für eine zufriedenstellende Leistung erreicht, kann S vorübergehend 2 überschreiten, bevor es mit weiterem Ressourcenaufbau wieder abnimmt und um 2 schwankt. Empirisch korreliert ein höherer S‑Wert bei unzureichender Kapazität mit besserer Generalisierung, und die Phase, in der S erstmals 2 erreicht, entspricht häufig einer guten Leistungsentwicklung.

Die Ergebnisse legen nahe, dass nichtklassische Statistikansätze neue Einblicke in die inneren Wechselwirkungen und Lerndynamiken tiefer neuronaler Netze bieten können, ohne dass dabei die klassische Architektur verändert werden muss.