LayerPipe2: Mehrstufiges Pipelining mit optimiertem EMA für NN-Training

In der jüngsten Veröffentlichung auf arXiv (2512.08160v1) präsentiert das Forschungsteam eine Weiterentwicklung des bereits erfolgreichen LayerPipe-Ansatzes. Ziel ist es, das Training von Convolutional-, Fully-Connected- und Spiking-Neuronalen Netzwerken durch ein präziseres Multistage‑Pipelining zu beschleunigen.

Der Kern der Arbeit liegt in einer formalen Ableitung der benötigten Gradientenverzögerungen. Durch variable, verzögerte Gradientenanpassung und Retiming wird gezeigt, dass innere Schichten weniger Verzögerung benötigen, während äußere Schichten längere Pausen erfordern. Bei einer vollständigen Pipelining‑Strategie hängt die Verzögerung ausschließlich von der Anzahl der verbleibenden nachgelagerten Stufen ab; bei gruppenbasiertem Pipelining teilen sich alle Schichten einer Gruppe dieselbe Verzögerung.

Ein bislang übersehener Engpass – die Speicherung historischer Gewichte – wird mit einem neuen, pipeline‑sensiblen gleitenden Durchschnitt (EMA) überwunden. Dieser Ansatz rekonstruiert die benötigten vergangenen Zustände, ohne sie explizit zu speichern, und reduziert damit den Speicherbedarf erheblich, ohne die Genauigkeit zu beeinträchtigen.

Die Ergebnisse liefern ein umfassendes, prinzipielles Rahmenwerk, das die Konstruktion von LayerPipe‑Architekturen erleichtert, die Verzögerungsanforderungen vorhersagen lässt und gleichzeitig Speicherprobleme adressiert. Damit wird das Konzept des pipelined Learning für die Praxis noch robuster und effizienter.