Softly Symbolified KANs: Interpretable ML mit sparsamer Symbolik

Auf der Plattform arXiv wurde ein neues Papier veröffentlicht, das die Kolmogorov‑Arnold‑Netzwerke (KANs) um ein innovatives Konzept erweitert: die Softly Symbolified Kolmogorov‑Arnold Networks (S2KAN). Ziel ist es, maschinelles Lernen nicht nur leistungsfähig, sondern auch nachvollziehbar zu machen, indem die Aktivierungsfunktionen selbst aus symbolischen Bausteinen bestehen können.

Bei S2KAN wird jede Aktivierung aus einer Mischung aus symbolischen und dichten Termen gebildet. Durch lernbare Schalter (Gates) wird die Repräsentation automatisch auf die wichtigsten symbolischen Elemente reduziert – ein Prozess, der vollständig differenzierbar ist und somit in einem End‑to‑End‑Optimierungszyklus genutzt werden kann. Die Auswahl der sparsamen Struktur wird dabei von einem Minimum‑Description‑Length‑Kriterium geleitet, das die Komplexität des Modells mit seiner Genauigkeit abwägt.

Die Autoren demonstrieren, dass S2KAN in einer Vielzahl von Aufgaben – von symbolischen Benchmarks über die Vorhersage dynamischer Systeme bis hin zu realen Prognoseaufgaben – nicht nur die gleiche oder sogar bessere Genauigkeit erzielt, sondern dabei deutlich kleinere Modelle verwendet. Besonders bemerkenswert ist die Beobachtung, dass die Netzwerke selbstständig zu einer sparsamen Struktur tendieren, selbst wenn keine explizite Regularisierung angewendet wird.

Diese Entwicklung markiert einen wichtigen Schritt in Richtung interpretierbarer KI: Durch die direkte Einbindung symbolischer Elemente in das Lernverfahren können Modelle entstehen, die sowohl leistungsstark als auch transparent sind. S2KAN eröffnet damit neue Möglichkeiten für Anwendungen, bei denen Nachvollziehbarkeit und Modellverständnis genauso wichtig sind wie reine Performance.