LCA: Lokale Klassifikatorausrichtung verbessert kontinuierliches Lernen

Intelligente Systeme müssen in der Lage sein, sich ständig an veränderte Umgebungen anzupassen. In der Praxis führt das jedoch häufig zu „katastrophischem Vergessen“, bei dem neu erlernte Aufgaben die Leistung auf bereits gelernten Aufgaben stark beeinträchtigen.

Eine vielversprechende Lösung ist die Nutzung vortrainierter Modelle. Ihre allgemeineren Merkmals-Extraktoren ermöglichen eine schnellere und robustere Anpassung an neue Aufgaben. Frühere Ansätze haben versucht, das Vergessen zu reduzieren, indem sie nur die ersten Aufgaben feinabstimmen. Diese Strategie verliert jedoch rasch an Wirksamkeit, sobald die Anzahl der Aufgaben steigt und sich die Datenverteilungen unterscheiden.

Neuere Forschung konzentriert sich darauf, das Wissen aller Aufgaben in einer gemeinsamen Basis zu konsolidieren oder die Basis bei neuen Aufgaben anzupassen. Dabei kann jedoch ein Missverhältnis zwischen den aufgabenspezifischen Klassifikatoren und der angepassten Basis entstehen, was die Leistung beeinträchtigt.

Um dieses Problem zu lösen, wurde ein neuer „Lokale Klassifikatorausrichtung“ (LCA)-Verlust entwickelt. Der LCA-Verlust sorgt dafür, dass die Klassifikatoren besser mit der Basis abgestimmt sind. Theoretisch zeigt sich, dass dieser Ansatz nicht nur die Generalisierung über alle beobachteten Aufgaben verbessert, sondern auch die Robustheit erhöht.

Im Rahmen einer vollständigen Lösung für kontinuierliches Lernen wurde der LCA-Verlust in einen Modellzusammenführungsansatz integriert. Umfangreiche Experimente an mehreren Standard-Benchmarks zeigen, dass die Methode häufig die führende Leistung erzielt und in vielen Fällen die aktuellen Stand der Technik-Methoden deutlich übertrifft.