Kausale Feature-Expansion verhindert Vergessen bei Klassenerweiterung

In der Klassenerweiterung (Class Incremental Learning, CIL) führt das häufige Einfrieren alter Merkmale dazu, dass neue Aufgabenmerkmale mit den bereits gespeicherten kollidieren. Diese Kollision entsteht vor allem durch spurious feature correlations – also unerwünschte Zusammenhänge zwischen Merkmalen, die während des Trainings entstehen.

Der neue Ansatz identifiziert zwei Hauptursachen: Erstens führen intra-task spurious correlations dazu, dass task-spezifische Merkmale auf nicht robuste Shortcut-Features zurückgreifen. Diese Features driftieren leicht in den Raum anderer Aufgaben und verstärken so das Vergessen. Zweitens erzeugen inter-task spurious correlations semantische Verwirrung zwischen visuell ähnlichen Klassen, die in unterschiedlichen Aufgaben vorkommen.

Um dem entgegenzuwirken, wird ein PNS-basiertes Regularisierungskonzept – das Probability of Necessity and Sufficiency (PNS) – auf CIL erweitert und als CPNS (Causally Complete PNS) bezeichnet. CPNS misst sowohl die kausale Vollständigkeit intra-task Merkmalsrepräsentationen als auch die Trennbarkeit inter-task Repräsentationen.

Ein zentrales Element ist ein dualer Counterfactual-Generator, der auf Twin-Networks basiert. Er erzeugt gleichzeitig: (i) intra-task Counterfactual-Features, die das intra-task PNS-Risiko minimieren und die kausale Vollständigkeit sichern; (ii) inter-task Interferenzen, die das inter-task PNS-Risiko reduzieren und die Trennbarkeit erhöhen. Durch diese gezielte Feature-Expansion werden Kollisionen vermieden und das Vergessen signifikant reduziert.

Theoretische Analysen belegen die Zuverlässigkeit des Ansatzes, und erste Experimente deuten darauf hin, dass CPNS die Leistung von CIL-Modellen nachhaltig verbessert, ohne die Komplexität des Trainingsprozesses unnötig zu erhöhen.