Synergetisches Memory-Rehearsal löst Stabilitäts‑Plastizitätsproblem Online‑Lernen

Deep‑Neural‑Netze haben bei der Bewegungsprognose enorme Fortschritte erzielt, leiden jedoch häufig unter dem Phänomen des katastrophalen Vergessens. Sobald neue Daten hinzukommen, verlieren die Modelle oft die zuvor erlernten Fähigkeiten.

Kontinuierliches Lernen (CL) versucht, dieses Problem zu beheben, indem die Stabilität des Gedächtnisses der Netzwerke gestärkt wird. Dabei besteht jedoch die Gefahr, dass die Lernfähigkeit – die Plastizität – stark eingeschränkt wird. Um dieses Stabilitäts‑Plastizitäts‑Dilemma zu überwinden, wurde die Methode Synergetic Memory Rehearsal (SyReM) entwickelt.

SyReM nutzt einen kompakten Speicherpuffer, der die wichtigsten Lerninhalte repräsentiert. Durch eine Ungleichheitsbedingung wird die durchschnittliche Verluststeigerung im Puffer begrenzt, was die Stabilität erhöht. Gleichzeitig wählt ein selektiver Rehearsal‑Mechanismus gezielt aus dem Puffer die Beispiele aus, die den aktuell beobachteten Daten am ähnlichsten sind. Diese Auswahl basiert auf der online gemessenen Kosinus‑Ähnlichkeit der Verlust‑Gradienten, wodurch das Netzwerk gezielt neue Informationen aufnehmen kann, ohne die Stabilität zu gefährden.

Die Methode wurde im Rahmen eines Online‑CL‑Paradigmas getestet, bei dem Trainingsdaten aus unterschiedlichen Szenarien als ein‑Pass‑Stream ankommen. Auf 11 realitätsnahen Fahrdatensätzen aus der INTERACTION‑Studie zeigte SyReM eine deutliche Verbesserung der Vorhersagegenauigkeit und eine robuste Leistung gegenüber klassischen Replay‑Ansätzen.