Sparsity verbessert Forward-Forward: Top‑k & Entmax erhöhen Genauigkeit um 30 %

Der neueste Beitrag auf arXiv zeigt, wie gezielte Messungen die Leistung des Forward‑Forward‑(FF)‑Algorithmus drastisch steigern können. FF ist ein biologisch plausibler Ansatz, der neuronale Netze schichtweise trainiert, indem er eine lokale „Goodness“-Funktion nutzt, um positive von negativen Daten zu unterscheiden. Bislang war die Sum‑of‑Squares‑(SoS)‑Methode die Standardwahl.

In dieser Studie wurden verschiedene Goodness‑Funktionen systematisch untersucht. Die Autoren führten die „Top‑k“-Goodness ein, die nur die k aktivsten Neuronen berücksichtigt, und erzielten damit einen beeindruckenden Anstieg der Genauigkeit bei Fashion‑MNIST um 22,6 Prozentpunkte. Anschließend wurde die „Entmax‑gewichtete Energie“ entwickelt, die die harte Top‑k‑Auswahl durch ein lernbares, sparsames Gewichtssystem ersetzt und weitere Verbesserungen lieferte.

Parallel dazu wurde ein neues Label‑Feature‑Forwarding‑Modell (FFCL) eingeführt, bei dem Klassenvorhersagen in jeder Schicht über eine eigene Projektion eingebracht werden, statt nur am Eingangs­schicht zu concatenieren. Die Kombination dieser Ansätze führte zu einer Genauigkeit von 87,1 % auf Fashion‑MNIST mit einer 4×2000‑Architektur – ein Gewinn von 30,7 Prozentpunkten gegenüber dem SoS‑Baseline.

Durch kontrollierte Experimente mit 11 Goodness‑Funktionen, zwei Architekturen und einer Analyse des Sparsity‑Spektrums (k‑ und α‑Werte) zeigte die Arbeit, dass die Sparsamkeit der Goodness‑Funktion der entscheidende Faktor für die Leistung von FF‑Netzen ist. Diese Erkenntnis liefert einen klaren Leitfaden für zukünftige Entwicklungen im Bereich des Forward‑Forward‑Lernens.