WISCA: Leichtgewichtiges Gewichtsskalierungsverfahren verbessert LLM-Training

Die neueste Veröffentlichung auf arXiv (2508.16676v1) stellt WISCA vor – ein schlankes Verfahren zur Gewichtsskalierung, das die Trainingsleistung großer Sprachmodelle (LLMs) ohne Änderungen an der Netzwerkarchitektur steigert. Durch gezieltes Anpassen der Gewichtsmuster, während die Modelloutputs unverändert bleiben, optimiert WISCA indirekt den Lernpfad und führt zu einer besseren Konvergenz.

Experimentelle Ergebnisse zeigen, dass WISCA die Generalisierungsfähigkeit deutlich verbessert. Besonders bei LLMs mit Grouped Query Attention (GQA) und bei LoRA‑Fine‑Tuning‑Aufgaben erzielt das Verfahren durchschnittlich 5,6 % mehr Leistung bei Zero‑Shot‑Validierungsaufgaben und senkt die Trainingsperplexität um 2,12 %. Diese Fortschritte unterstreichen das Potenzial von WISCA, die Effizienz und Qualität von LLM‑Trainingsprozessen nachhaltig zu erhöhen.