Neuer Ansatz reduziert Vergessen in kontinuierlichem Lernen drastisch

Neural‑Netzwerke, die in dynamischen Umgebungen eingesetzt werden, leiden häufig unter dem Phänomen des katastrophalen Vergessens: Beim Anpassen an neue Aufgaben werden frühere Kenntnisse überschrieben, was die Leistung auf älteren Aufgaben stark beeinträchtigt. Ein neuer Ansatz namens Selective Forgetting‑Aware Optimization (SFAO) bietet eine Lösung, indem er die Richtungen der Gradienten mithilfe von Kosinus‑Ähnlichkeit und schichtweiser Steuerung reguliert.

SFAO projiziert, akzeptiert oder verwirft Aktualisierungen selektiv. Dabei wird ein anpassbares Mechanismus eingesetzt, der mit einer effizienten Monte‑Carlo‑Approximation arbeitet. Durch diese dynamische Steuerung kann das Netzwerk gezielt vergessen, während gleichzeitig die Plastizität und Stabilität erhalten bleiben.

In Experimenten auf etablierten Benchmarks des kontinuierlichen Lernens zeigte SFAO eine konkurrenzfähige Genauigkeit bei deutlich geringerer Speicher­belastung – ein Rückgang um 90 %. Besonders bei MNIST‑Datensätzen verbesserte sich die Vergessensrate, was SFAO zu einer vielversprechenden Methode für ressourcenbeschränkte Anwendungen macht.