FAAR: Format‑Aware Adaptive Rounding für NVFP4‑Quantisierung

Die Ausführung großer Sprachmodelle (LLMs) auf Edge‑Geräten erfordert Quantisierungen mit extrem niedriger Bit‑Tiefe. Das Ultra‑Low‑Precision‑Format NVFP4 bietet hier eine vielversprechende Lösung, um Speicherbedarf zu reduzieren und Rechenzeiten zu verkürzen.

Allerdings berücksichtigen herkömmliche Rounding‑Strategien die stark ungleichmäßige Gitterstruktur von NVFP4 nicht. Das führt zu suboptimalen Rundungsentscheidungen und verstärkten Quantisierungsfehlern.

Um dieses Problem zu lösen, wurde Format‑Aware Adaptive Rounding (FAAR) entwickelt. FAAR ist ein lernbarer Rundungsmechanismus, der die spezifische NVFP4‑Grid‑Struktur explizit in den Optimierungsprozess einbezieht. Durch die adaptive Anpassung der Rundungsentscheidungen, gesteuert von Gradienten des Verlustes, nähert sich die Methode dem theoretisch optimalen Quantisierungswert.

Als Ergänzung zu FAAR wird ein zweistufiges Format‑Alignment (2FA) Fine‑Tuning‑Schema vorgestellt. Dieses richtet die Parameter der LLMs schichtweise an den NVFP4‑Numerikraum aus und schließt so weitere Leistungslücken.

Der lernbasierte Ansatz verursacht lediglich einen minimalen Trainingsaufwand von nur vier GPU‑Stunden auf dem Modell Llama3‑1B.

In umfangreichen Experimenten zeigte FAAR signifikante Verbesserungen: Die Perplexität auf WikiText‑2 sank bei Llama3‑1B von 14,28 auf 12,60 und bei Qwen3‑1.7B von 23,06 auf 21,27. Darüber hinaus übertrifft die Methode konsequent aktuelle State‑of‑the‑Art‑Ansätze in einer Vielzahl von Zero‑Shot‑Downstream‑Aufgaben.