GEM: Skalierungs‑ und Verteilungs‑Sensitivität verbessert Genauigkeit um 1,6 %

In der Welt der großen vortrainierten Sprachmodelle gewinnt Parameter‑Effizientes Fine‑Tuning (PEFT) immer mehr an Bedeutung. Dabei werden nur wenige Modellparameter angepasst, während der Rest unverändert bleibt. Das spart Rechenleistung, doch die üblichen PEFT‑Methoden berücksichtigen häufig nicht, wie groß die einzelnen Parameter bereits sind. Dadurch können die vorgenommenen Änderungen im Modellverhalten kaum spürbar sein.

Der neue Ansatz GEM (Gradient‑to‑Weight Ratio and Entropy‑guided Masking) löst dieses Problem, indem er die Aktualisierungen im Verhältnis zur ursprünglichen Parametergröße maximiert. Gleichzeitig bestimmt GEM anhand der Entropie der Parameterwerte, wie viele Parameter in jeder Schicht angepasst werden sollen. So wird das verfügbare Rechenbudget optimal genutzt und die Anpassung wird gezielter.

Experimentell wurde GEM an einer Vielzahl von Aufgaben getestet – von allgemeinen Sprachverständnisaufgaben wie GLUE und SuperGLUE bis hin zu domänenspezifischen Tests wie GSM8k und MBPP. Die Ergebnisse zeigen, dass GEM die Genauigkeit um bis zu 1,6 % gegenüber einer vollständigen Feinabstimmung steigert, während gleichzeitig nur 0,1 % der Modellparameter verändert werden. Damit bietet GEM eine effiziente und wirkungsvolle Lösung für die Anpassung großer Modelle an neue Aufgaben.