Multi-Format Quantization-Aware Training für elastische Inferenz

Quantisierung‑bewusstes Training (QAT) wird üblicherweise für ein einziges numerisches Format durchgeführt, obwohl reale Systeme oft die Präzision zur Laufzeit an die Hardware oder an Laufzeitbedingungen anpassen müssen. Mit Multi‑Format‑QAT wird ein Modell so trainiert, dass es in mehreren Quantisierungsformaten zuverlässig funktioniert.

Die Studie zeigt, dass Multi‑Format‑QAT die gleiche Genauigkeit wie herkömmliches Single‑Format‑QAT in jedem Zielformat erreichen kann – sogar in Formaten, die während des Trainings nicht vorkamen. So entsteht ein einziges Modell, das über verschiedene Präzisionsebenen hinweg stark bleibt.

Um die praktische Einsatzfähigkeit zu erhöhen, wird die Slice‑and‑Scale‑Umwandlung für MXINT und MXFP vorgestellt. Diese Methode wandelt eine hochpräzise Darstellung in niedrigere Präzisionen um, ohne dass ein erneutes Training nötig ist.

Der vorgeschlagene Workflow besteht aus drei Schritten: (1) Training mit Multi‑Format‑QAT, (2) Speichern eines einzigen Anchor‑Checkpoints (MXINT8 oder MXFP8) und (3) On‑the‑Fly‑Konvertierung zu niedrigeren MXINT‑ oder MXFP‑Formaten zur Laufzeit, wobei die Genauigkeit praktisch unverändert bleibt.

Durch diese Kombination entsteht ein praktikabler Ansatz für elastische Präzisionsskalierung, der es ermöglicht, das Laufzeitformat je nach Zielplattform flexibel auszuwählen, ohne die Modellleistung zu gefährden.