GlowQ: Gruppenbasierte Low‑Rank‑Korrektur für quantisierte LLMs

Quantisierungsmethoden wie BitsAndBytes, AWQ und GPTQ sind Standardwerkzeuge für die Bereitstellung großer Sprachmodelle, doch sie führen häufig zu Genauigkeitsverlusten, wenn sehr niedrige Bitzahlen – etwa vier Bits – verwendet werden. Um dieses Problem zu mildern, wurden Low‑Rank‑Korrekturverfahren wie LQER, QERA und ASER entwickelt. Diese Verfahren korrigieren jedoch sämtliche Schichten und fügen jedem Decoder‑Block ein Fehlerkorrekturmodul ein, was die Latenz und den Speicherbedarf stark erhöht.

GlowQ löst diese Einschränkung, indem es eine gruppenbasierte, geteilte Low‑Rank‑Approximation einführt. Für jede Eingabe‑Gruppierung wird ein einziger gemeinsamer rechter Faktor berechnet und anschließend in allen zugehörigen Modulen wiederverwendet. Dadurch werden Parameter und Speicherverbrauch reduziert, während die Ausdruckskraft schichtspezifischer Korrekturen erhalten bleibt. GlowQ wählt gezielt nur die Gruppen oder Schichten aus, die den größten Genauigkeitsgewinn bringen.

Eine weitere Variante, GlowQ‑S, nutzt das geteilte Modul ausschließlich dort, wo es den größten Nutzen bietet. Im Vergleich zu etablierten Baselines senkt GlowQ die Time‑to‑First‑Byte (TTFB) im Durchschnitt um 5,6 % und steigert die Durchsatzrate um 9,6 %. Gleichzeitig reduziert es die Perplexität auf WikiText‑2 um 0,17 % und erhöht die Genauigkeit bei downstream‑Aufgaben um 0,42 Prozentpunkte.

GlowQ‑S erzielt noch größere Latenzreduktionen: TTFB fällt um 23,4 % und der Durchsatz steigt um 37,4 %. Trotz dieser Optimierungen bleibt die Genauigkeit innerhalb von 0,2 Prozentpunkten des Basismodells. Diese Ergebnisse zeigen, dass gruppenbasierte Low‑Rank‑Korrekturen eine effiziente und präzise Alternative zur herkömmlichen Quantisierung darstellen.