Zwei-Stufen-Ansatz für Optimierer‑bewusste Online-Datenauswahl bei LLMs

Forscher haben einen neuen Ansatz entwickelt, um Daten für das Feintuning großer Sprachmodelle effizienter auszuwählen. Der innovative Rahmen berücksichtigt die dynamische Natur des Online-Fine‑Tunings, bei dem Daten sequenziell eintreffen und die Optimizer‑Logik die Aktualisierungen maßgeblich beeinflusst.

Im Gegensatz zu herkömmlichen Offline‑Methoden, die lediglich statische Ranglisten erzeugen, gestaltet der Optimierer‑bewusste Ansatz die nächsten zielgerichteten Update‑Schritte unter Berücksichtigung des aktuellen Optimizer‑Zustands. Dadurch wird die Sample‑Utility nicht nur bewertet, sondern aktiv in die nächste Optimierung einbezogen.

Der neue Algorithmus besteht aus zwei Stufen: Zunächst filtert ein geometrischer Filter die vielversprechendsten Kandidaten heraus. Anschließend werden deren Gewichtungen mithilfe eines zweiten Optimierungssteges angepasst, wobei Interaktionen und Redundanzen zwischen den ausgewählten Samples berücksichtigt werden.

Um die Skalierbarkeit für große Modelle sicherzustellen, wurde eine faktorisierte Gradient‑Darstellung eingeführt und die Matrix‑Operationen für lange Kontexte optimiert. Diese technischen Verbesserungen ermöglichen eine effiziente Berechnung, ohne die Genauigkeit zu beeinträchtigen.

Experimentelle Tests zeigen, dass der Ansatz die Konvergenz beschleunigt und die Leistung in downstream‑Aufgaben im Vergleich zu bestehenden Online‑Auswahlmethoden deutlich verbessert – und das alles bei gleichem Datenbudget. Das Ergebnis ist ein vielversprechender Schritt in Richtung effizienterer und leistungsfähigerer Sprachmodelle.