Optimierung der Datenmischung für Fine‑Tuning großer Sprachmodelle
Ein neues Verfahren zur Optimierung der Datenmischung für das supervised Fine‑Tuning großer Sprachmodelle wurde vorgestellt. Die Autoren stellen die Datenmischung als ein Optimierungsproblem dar und entwickeln einen Ansatz, der den Validierungsverlust gezielt minimiert.
Der Ansatz parametrisiert den Verlust, indem er die effektiv übertragenen Daten modelliert und Skalierungsgesetze für das Fine‑Tuning nutzt. Durch Experimente mit kleinen Datenmischungen werden die Parameter angepasst und die optimalen Gewichte bestimmt.
Mathematische Beweise und empirische Tests zeigen, dass der Algorithmus sowohl global als auch domänenspezifisch hervorragende Leistungen erzielt. Modelle, die mit den optimierten Gewichten trainiert wurden, schneiden im Vergleich zu Grid‑Search‑optimierten Modellen nahezu gleich ab; der durchschnittliche Domänenverlust liegt nur 0,66 % höher.
Darüber hinaus verbessert die Methode die Re‑Gewichtung beliebter SFT‑Datensätze sowohl den Validierungsverlust als auch die downstream‑Leistung. Die Autoren betonen, dass die Technik zur gezielten Auswahl von Daten für domänenspezifische Modelle eingesetzt werden kann und wertvolle Einblicke in das SFT‑Feld liefert.