Blockrotation ist der Schlüssel zur MXFP4-Quantisierung
Große Sprachmodelle (LLMs) haben in den letzten Jahren enorme Fortschritte erzielt, doch ihr stetig wachsender Umfang verursacht prohibitive Kosten in Speicher, Rechenleistung und Energie. Post‑Training‑Quantisierung (PTQ) gilt als vielversprechende Lösung für eine effiziente Bereitstellung, wobei die genaue W4A4‑Quantisierung bislang noch ein offenes Problem darstellt.
Die Einführung des neuen FP4‑Formats MXFP4, das von NVIDIA, AMD und Intel unterstützt wird, wirft die Frage auf, ob bestehende PTQ‑Methoden damit kompatibel sind. In einer umfassenden Benchmark wurden verschiedene PTQ‑Ansätze unter MXFP4 getestet. Dabei zeigte sich, dass Verfahren wie GPTQ konstant gute Ergebnisse liefern, während rotationsbasierte Techniken – die in fast allen modernen Ansätzen zum Einsatz kommen – stark unter der Inkompatibilität mit MXFP4 leiden.
Die Autoren untersuchen die Ursache dieses Konflikts und stellen fest, dass die PoT‑Block‑Skalierung von MXFP4 im Widerspruch zur globalen Rotations‑Umverteilung von Ausreißerenergie steht. Auf dieser Erkenntnis basierend schlagen sie eine einfache, aber effektive Blockrotation‑Strategie vor, die rotationsbasierte Methoden an MXFP4 anpasst und damit die Genauigkeit bei einer Vielzahl von LLMs deutlich verbessert.
Die Ergebnisse liefern klare Handlungsempfehlungen für Praktiker und legen gleichzeitig die Grundlage für zukünftige PTQ‑Forschung in aufkommenden Low‑Precision‑Formaten.