BWTA: Binarisierter Transformer mit hoher Genauigkeit und Effizienz

Ultra‑low‑bit‑Quantisierung verspricht enorme Effizienzgewinne für Transformer‑Modelle, doch Genauigkeitsverluste und eingeschränkte GPU‑Unterstützung hemmen ihre breite Anwendung. In der vorliegenden Arbeit wird die Verzerrung durch den Nullpunkt bei der Binarisierung analysiert und ein neues Quantisierungsschema namens Binary Weights & Ternary Activations (BWTA) vorgestellt, das winzige Werte auf Null projiziert und die Genauigkeit von extremen Low‑Bit‑Modellen bewahrt.

Für das Training wird die Smooth Multi‑Stage Quantization eingeführt, die eine Levelwise Degradation Strategy mit einem Magnitude‑Alignment Projection Factor kombiniert. Diese Kombination ermöglicht ein stabiles und schnelles Konvergieren, ohne die Modellleistung zu beeinträchtigen.

Im Inferenzbereich wurde ein BWTA MatMul CUDA‑Kernel entwickelt, der auf Anweisungsebene Parallelität und Bit‑Packing nutzt. Der Kernel bietet umfassende binäre und ternäre MatMul‑Implementierungen für lineare und Attention‑Operatoren, sodass BWTA nahtlos in sämtliche Transformer‑Architekturen integriert werden kann.

Experimentelle Ergebnisse zeigen, dass BWTA die volle Präzision von BERT nahezu erreicht, mit einem durchschnittlichen Genauigkeitsverlust von 3,5 % auf GLUE und weniger als 2 % auf fünf weiteren Aufgaben. Für große Sprachmodelle (LLMs) liefert BWTA vergleichbare Perplexität und Genauigkeit.

In Bezug auf die Effizienz erzielt BWTA einen Kernel‑Level‑Speedup von 16 bis 24‑fach im Vergleich zu FP16 auf NVIDIA‑GPUs und steigert die End‑zu‑End‑Prefill‑Geschwindigkeit um 216 bis 330 Tokens pro Sekunde, während der Speicherbedarf reduziert wird.

Als Beispiel für ein erfolgreiches Algorithmus‑Hardware‑Co‑Design demonstriert BWTA, dass ultra‑low‑bit‑Inference mit niedriger Latenz praktisch umsetzbar ist, ohne die Modellqualität zu opfern.