CapTrack: Vielseitige Analyse von Vergessensprozessen nach Post-Training von LLMs

Eine neue Studie auf arXiv beleuchtet, wie das Post-Training von großen Sprachmodellen (LLMs) nicht nur ihre Fähigkeiten verbessert, sondern gleichzeitig auch zu einem systematischen Verlust an Wissen und Verhalten führen kann. Während die Weiteranpassung von Modellen die Leistung steigert, die Werteausrichtung optimiert und die Domänenanpassung erleichtert, wird deutlich, dass dabei ein „Vergessen“ entsteht, das weit über den Verlust von Parametern oder Fakten hinausgeht.

Um dieses Phänomen genauer zu erfassen, stellt die Arbeit das CapTrack-Framework vor – ein auf Fähigkeiten ausgerichtetes Analysewerkzeug, das eine Verhaltens-Taxonomie mit einer umfangreichen Evaluationssuite kombiniert. CapTrack nutzt etablierte Benchmarks und gezielte Anpassungen, um die Auswirkungen verschiedener Post-Training-Methoden, Domänen und Modellfamilien – bis zu 80 Billionen Parametern – systematisch zu untersuchen.

Die Ergebnisse zeigen, dass das Vergessen nicht nur parametrierte Kenntnisse betrifft, sondern auch die Robustheit und die Standardverhalten der Modelle stark beeinträchtigt. Besonders auffällig ist der relative Drift bei der Anweisungstraining (Instruction Fine‑Tuning), während die Präferenzoptimierung konservativer wirkt und teilweise verlorene Fähigkeiten wiederherstellen kann. Trotz dieser Unterschiede bleiben die Effekte zwischen den Modellfamilien bestehen, und es gibt keine einheitliche Lösung, die das Vergessen vollständig verhindert.