LoRA-Adapter: Anweisungen stimmen nicht mit überprüfbaren Ergebnissen überein

In einer aktuellen Untersuchung wurde die übliche Praxis, LoRA‑Adapter anhand ihrer nominalen Bezeichnungen wie „instruction‑tuned“ auszuwählen, kritisch hinterfragt. Die Forscher haben denselben Adapter auf mehreren Aufgaben getestet und dabei die IFEval‑Metrik für überprüfbares Befolgen von Anweisungen herangezogen.

Erstaunlicherweise zeigte sich, dass die nominalen Trainingsziele nicht zuverlässig die tatsächlichen Leistungssteigerungen über verschiedene Aufgaben hinweg vorhersagen. In mehreren Durchläufen, unterschiedlichen Basismodellen und LoRA‑Konfigurationen konnten die erwarteten Verbesserungen nicht reproduziert werden – sogar gab es Fälle, in denen die Leistung zurückging.

Ein besonders eindrucksvolles Beispiel: Ein instruction‑tuned Adapter verbesserte die numerische Benchmark‑Leistung von 0,133 auf 0,632, während die IFEval‑Scores für verifizierbares Befolgen von Anweisungen von 0,313 auf 0,271 (ILA) bzw. 0,250 auf 0,143 (PLA) zurückgingen. Die Autoren nennen dieses Phänomen „Capability Drift“, um die Diskrepanz zwischen nominaler Bezeichnung und realer Fähigkeit zu beschreiben.

Die Ergebnisse zeigen, dass die Übereinstimmung zwischen verschiedenen Benchmarks heterogen ist und nicht als alleinige Grundlage für die Auswahl von Adaptern dienen sollte. Die Studie liefert wichtige Hinweise darauf, dass Entwickler bei der Auswahl von LoRA‑Modellen nicht nur auf die Bezeichnungen, sondern auch auf überprüfbare Leistungsdaten achten müssen.