Beacon: Quantisierung ohne manuelle Abstimmung – Effiziente PTQ für große Modelle
Die neue Methode Beacon revolutioniert die Post‑Training‑Quantisierung (PTQ) großer vortrainierter Modelle. Sie ersetzt die bisher üblichen manuellen Skalierungstuning‑Schritte durch einen automatischen, geometrie‑basierten Ansatz, der die optimalen Skalierungsfaktoren direkt aus dem quantisierten Gitter bestimmt.
Beacon arbeitet kanalweise und nutzt ein festes, nicht‑skalierbares Alphabet. Durch die Ausnutzung der Symmetrie der skalaren Quantisierung kann das Verfahren die besten Skalierungsfaktoren ohne Back‑Propagation oder große KalibrierungsSätze ermitteln. Dabei unterstützt es sowohl symmetrische als auch asymmetrische Quantisierung mit minimalen Änderungen an bestehenden Pipelines.
Obwohl die Technik simpel und frei von manuellen Einstellungen ist, erreicht Beacon Leistungen, die mit den führenden PTQ‑Methoden vergleichbar sind. Damit bietet Beacon eine praktikable Lösung für die effiziente Bereitstellung von KI‑Modellen, ohne dabei an Genauigkeit zu verlieren.