Riemannsche Geometrie erklärt, wie Netzwerke Berechnungen auf Manifolds durchführen

Neurale Netze müssen häufig kontinuierliche Eingaben – etwa Bilder – in diskrete Ausgaben wie Klassifikationen umwandeln. Wie sie dabei die nötigen diskreten Berechnungen auf den kontinuierlichen Datenmanifolds erlernen, blieb bislang wenig verstanden.

Die neue Studie nutzt die Riemannsche Pullback‑Metrik, um die geometrische Struktur der Repräsentationen in allen Schichten eines Netzes zu untersuchen. Dabei wird deutlich, dass die Berechnung in zwei Schritten erfolgt: erst werden die kontinuierlichen Merkmale discretisiert, anschließend werden logische Operationen auf diesen diskreten Variablen ausgeführt.

Weiterhin zeigen die Autoren, dass unterschiedliche Lernregime – „reich“ versus „lazy“ – zu kontrastierenden Metrik‑ und Krümmungsprofilen führen. Diese Unterschiede beeinflussen die Fähigkeit der Netze, auf unbekannte Eingaben zu generalisieren. Insgesamt liefert die Arbeit ein geometrisches Rahmenwerk, das das Verständnis dafür vertieft, wie neuronale Netzwerke diskrete Berechnungen auf kontinuierlichen Manifolds erlernen.