FEAT: Geometry-Aware Correction stärkt Exemplar Replay bei Heterogenität

In der Federated Continual Learning (FCL) hat sich das Exemplar Replay als wirksame Technik zur Vermeidung von katastrophalem Vergessen etabliert. Dabei werden repräsentative Stichproben aus vergangenen Aufgaben gespeichert und wiederverwendet. Die neueste Veröffentlichung von Forschern auf arXiv (2604.08617v1) präsentiert einen innovativen Ansatz namens FEAT, der die Effektivität von Exemplar Replay in heterogenen, dynamischen Umgebungen deutlich steigert.

FEAT adressiert ein bislang wenig beachtetes Problem: die durch Ungleichgewichte verursachte Repräsentationskollaps, bei dem seltene Klassenmerkmale zu den häufigeren Klassen hin abfallen. Der Ansatz besteht aus zwei Kernmodulen. Das Geometric Structure Alignment Modul führt eine strukturelle Wissensdistillation durch, indem es die paarweisen Winkelähnlichkeiten zwischen Featurerepräsentationen und festgelegten Equiangular Tight Frame (ETF) Prototypen ausrichtet. Diese Prototypen sind über alle Clients hinweg identisch und dienen als klassenunabhängige Referenzstruktur, die geometrische Konsistenz über Aufgaben hinweg fördert und Repräsentationsdrift reduziert.

Das zweite Modul, die Energy-based Geometric Correction, entfernt aus den Feature-Embeddings Richtungsanteile, die für die aktuelle Aufgabe irrelevant sind. Dadurch wird die Tendenz, Vorhersagen zu stark auf die Mehrheitsklassen zu biasen, verringert. Das Ergebnis ist eine höhere Sensitivität gegenüber Minderheitsklassen und eine verbesserte Robustheit bei stark unausgeglichenen Klassenverteilungen. Zusammen ermöglichen die beiden Module eine effektivere Nutzung der ausgewählten Exemplare und erhöhen die Leistung von FCL-Systemen, die mit kontinuierlicher, dynamischer Heterogenität konfrontiert sind.