SurfaceLogicKV: Mit Aufmerksamkeitsverhalten die KV-Cache‑Kompression optimieren

Die steigende Eingabesequenzlänge in großen Sprachmodellen belastet den Key‑Value‑Cache stark. Ein neues Verfahren namens SurfaceLogicKV nutzt dabei die unterschiedlichen Aufmerksamkeitsverhalten einzelner Köpfe – etwa 98,5 % ignorieren unwichtige Informationen, 1,5 % bauen logische Strukturen auf und 0,5 % speichern Oberflächeninformationen. Durch die gezielte Integration dieser Muster in zwei Stufen kann der Cache effizient komprimiert werden.

SurfaceLogicKV erreicht dabei eine robuste Kompression, ohne die Leistung zu beeinträchtigen. In Tests über verschiedene Aufgaben und lange Sequenzen übertrifft das Verfahren die Standard‑Baselines und ist in bestimmten Szenarien sogar besser als die vollständige KV‑Speicherung.

Dieses Ergebnis zeigt, dass ein differenziertes Verständnis der Aufmerksamkeitsmechanismen entscheidend ist, um die Speicheranforderungen von LLMs zu reduzieren und gleichzeitig ihre Leistungsfähigkeit zu erhalten.