Feinabstimmung von Sprachmodellen: Mathematisches Training ohne Vergessen

Beim Feintuning großer Sprachmodelle für spezialisierte Aufgaben wie mathematisches Denken tritt häufig ein Phänomen namens „catastrophisches Vergessen“ auf: Fähigkeiten, die das Modell zuvor erlernt hat, verschwinden plötzlich. In einer aktuellen Studie wurde dieses Problem mit dem Flan‑T5‑Base‑Modell (250 M Parameter) untersucht, das auf dem DeepMind Mathematics‑Datensatz trainiert wurde.

Die reine Fokussierung auf mathematische Aufgaben erhöhte die Genauigkeit bei Rechenaufgaben von 3,1 % auf 12,0 %. Gleichzeitig sank die Leistung bei der MultiNLI‑Aufgabe – ein Maß für Textverständnis – innerhalb der ersten 1 000 Trainingsschritte von 81,0 % auf nur 16,5 %. Dieses drastische Einsetzen verdeutlicht, wie schnell spezialisierte Trainings die allgemeinen Fähigkeiten eines Modells zerstören können.

Um dem entgegenzuwirken, wurden Mischtrainingsstrategien entwickelt, bei denen mathematische und NLI‑Beispiele abwechselnd präsentiert werden. Mit einem ausgewogenen 1:1‑Verhältnis erreichte das Modell die gleiche mathematische Genauigkeit von 12,0 % und behielt gleichzeitig 86,2 % der NLI‑Leistung bei. Selbst bei sehr geringen NLI‑Expositionen (nur 6,2 %) zeigte sich eine wirksame Regularisierung, die das Vergessen verhindert.

Die Ergebnisse zeigen, dass Spezialisierung nicht zwangsläufig mit dem Verlust allgemeiner Kompetenzen verbunden sein muss. Für die Weiterentwicklung und Skalierung größerer Modelle bietet diese Erkenntnis einen vielversprechenden Ansatz, um sowohl Fachwissen als auch Vielseitigkeit gleichzeitig zu erhalten.