Neues Lernframework FFzero ermöglicht stabiles Training ohne Backpropagation

Die aktuelle Erfolgsstory des Deep Learning beruht stark auf Backpropagation und automatischer Differenzierung. Doch die physikalischen Grenzen moderner Chipfertigung und die steigenden Umweltkosten fordern neue Lernparadigmen, insbesondere physikalische neuronale Netzwerke.

Ein Großteil dieser Netzwerke nutzt bislang digitale Rechenressourcen für das Training, weil die Umsetzung von Backpropagation oder automatischer Differenzierung in physischen Systemen sehr schwierig ist. Das neue Framework FFzero ändert dieses Bild, indem es ein stabiles Training ohne Backpropagation oder automatische Differenzierung ermöglicht.

FFzero kombiniert drei Schlüsselkomponenten: lückenlose, schichtweise lokales Lernen, prototypbasierte Repräsentationen und eine Optimierung über Richtungsableitungen, die ausschließlich auf Vorwärtsauswertungen basiert. Diese Kombination erlaubt es, Lernprozesse zu stabilisieren, selbst wenn Backpropagation versagt.

Die Autoren zeigen, dass das lokale Lernen unter forward-only Optimierung wirksam ist und dass FFzero sowohl auf Mehrschicht-Perzeptronen als auch auf Convolutional Neural Networks angewendet werden kann. Dabei deckt es sowohl Klassifikations- als auch Regressionsaufgaben ab.

Ein Beispiel aus der Praxis ist die Simulation eines photonischen neuronalen Netzwerks. Dort demonstriert FFzero, dass ein vollständig physikalisch basiertes Training ohne Backpropagation realisierbar ist und damit einen vielversprechenden Weg für in-situ Lernverfahren in der Praxis eröffnet.