DAQ: Delta-Aware Quantisierung kompaktiert LLM-Gewichte ohne Wissensverlust

Ein neues Verfahren namens Delta-Aware Quantization (DAQ) wurde auf arXiv veröffentlicht und verspricht, die Kompression von Sprachmodellen nach dem Training ohne Verlust an Wissen zu ermöglichen. DAQ arbeitet ohne zusätzliche Daten und nutzt nur die Basis- und die nach dem Training aktualisierten Gewichtsmatrizen.

Traditionelle Quantisierungsmethoden minimieren den Rekonstruktionsfehler, sind jedoch vom zugrunde liegenden Modell unabhängig. Dadurch kann das Rauschen bei der Quantisierung besonders die kleinen Parameteränderungen – die sogenannten Delta‑Werte – stark verfälschen, die das post‑Training-Verhalten des Modells bestimmen. DAQ erkennt dieses Problem und setzt stattdessen auf zwei delta‑bewusste Metriken.

Die beiden Kennzahlen, Sign Preservation Rate und Cosine Similarity, bewerten direkt die Richtungsgenauigkeit der Delta‑Werte. Durch die Optimierung dieser Metriken bleibt die Richtung der Parameteränderungen erhalten, was die Integrität des post‑Training-Wissens schützt.

In einer Pilotstudie mit FP8-Quantisierung konnte DAQ die spezifischen Fähigkeiten, die bei herkömmlicher Quantisierung verloren gingen, wiederherstellen, während die allgemeine Leistung des Modells unverändert blieb. Das Ergebnis zeigt, dass Delta-Aware Quantization ein vielversprechender Ansatz für die effiziente Kompression großer Sprachmodelle ist.