Mehrstufiges Training für Kolmogorov-Arnold-Netzwerke

Forscher haben eine neue Trainingsmethode für Kolmogorov‑Arnold‑Netzwerke (KANs) vorgestellt, die das Training deutlich beschleunigt und die Genauigkeit erheblich steigert. Durch die gezielte Nutzung der strukturellen Eigenschaften von KANs, die auf einer vorgegebenen Basis von Splines beruhen, wird ein effizienter Lernprozess ermöglicht.

Die Arbeit zeigt, dass KANs mit Spline‑Basisfunktionen äquivalent zu multichannel‑MLPs mit Power‑ReLU‑Aktivierungen sind, wenn man eine lineare Basisänderung vornimmt. Diese Umwandlung beeinflusst die Geometrie der Gradientenoptimierung in Bezug auf die Spline‑Knoten und liefert wichtige Einblicke in die Optimierungsdynamik.

Auf Basis dieser Erkenntnisse wird ein mehrstufiges Trainingsverfahren entwickelt. Dabei werden KANs in einer hierarchischen Struktur trainiert, die durch eine gleichmäßige Verfeinerung der Spline‑Knoten entsteht. Analytische geometrische Interpolationsoperatoren verbinden die Modelle aufeinander, sodass Fortschritte vom groben zum feinen Modell erhalten bleiben und die kompakte Unterstützung der Splines eine ergänzende Optimierung auf den folgenden Ebenen ermöglicht.

Numerische Experimente belegen, dass das mehrstufige Training die Genauigkeit um mehrere Größenordnungen gegenüber herkömmlichen Trainingsmethoden verbessert – insbesondere bei physik‑informierten neuronalen Netzwerken. Die Ergebnisse unterstreichen das Potenzial dieser Technik, die Leistungsfähigkeit von KANs in praktischen Anwendungen signifikant zu erhöhen.