Sparse Adapter Fusion: Parameter sparen bei kontinuierlichem NLP‑Lernen

Kontinuierliches Lernen ist in der natürlichen Sprachverarbeitung entscheidend, um Modelle an sich wandelnde Daten anzupassen und das sogenannte „catastrophic forgetting“ zu verhindern. Trotz großer Fortschritte stoßen aktuelle Ansätze noch immer an Grenzen: Sie nutzen vorhandene Parameter nicht effizient, riskieren bei unterschiedlichen Aufgaben ein starkes Vergessen und fügen für jede neue Aufgabe unnötig viele neue Parameter hinzu, was die Wissensweitergabe zwischen ähnlichen Aufgaben erschwert.

Um diese Probleme zu lösen, wurde die Sparse Adapter Fusion Method (SAFM) entwickelt. SAFM kombiniert alte und neue Adapter dynamisch und arbeitet in zwei klar definierten Phasen: der Entscheidungsphase und der Anpassungsphase.

In der Entscheidungsphase prüft SAFM, ob ein neuer Adapter benötigt wird, ob ein bereits vorhandener Adapter wiederverwendet werden kann oder ob ein leerer Adapter hinzugefügt werden soll. Durch ein gezieltes Architektursuchverfahren wird die Wiederverwendung oder das Hinzufügen leerer Adapter bevorzugt, wodurch der Parameterverbrauch minimiert und die Wiederverwendung maximiert wird.

Die Anpassungsphase nutzt einen schichtweisen Verlustterm, der die Differenzierung zwischen den Adaptern fördert. Dadurch wird das Wissen innerhalb einer Aufgabe präziser erfasst und gespeichert.

Experimentelle Ergebnisse zeigen, dass SAFM die führenden Methoden übertrifft. Es erzielt vergleichbare Leistungen, während es weniger als 60 % der Parameter verwendet, was die Effizienz und Skalierbarkeit von kontinuierlichem Lernen in NLP deutlich verbessert.