Neue Initialisierung verbessert Gradientenkontrolle bei sinusoidalen Netzwerken

Forscher haben eine neue Initialisierungsmethode für neuronale Netzwerke mit sinusoidalen Aktivierungsfunktionen wie SIREN vorgestellt. Die Technik zielt darauf ab, Gradientenschwankungen zu steuern und die Skalierung der Gradienten mit der Tiefe des Netzes zu optimieren, was entscheidend für stabile Trainingsläufe ist.

Die Autoren haben eine geschlossene Formel für die Parameterinitialisierung abgeleitet, die sich von dem ursprünglichen SIREN-Schema unterscheidet. Diese Formel basiert auf Fixpunkten, die aus der Konvergenz der Voraktivierungsverteilung und der Varianz der Jacobian-Sequenzen gewonnen werden. Durch die gleichzeitige Kontrolle der Gradienten und das Vermeiden von vorzeitigem Voraktivierungs-Vanishing wird die Entstehung unangemessener Frequenzen während der Schätzung verhindert, was die Generalisierungsfähigkeit des Modells verbessert.

Weiterhin zeigen die Ergebnisse, dass die neue Initialisierung die Trainingsdynamik stark beeinflusst, wie das Neural Tangent Kernel (NTK)-Framework verdeutlicht. In umfangreichen Benchmarks über Funktionsanpassung und Bildrekonstruktion übertrifft die neue Methode die ursprüngliche SIREN-Initialisierung sowie andere gängige Baselines. Besonders bei physikinformierten neuronalen Netzwerken erzielt sie konsistent bessere Rekonstruktionsleistungen.