Der Residual-Stream ist alles: KV-Cache in Transformer-Inferezen redundant

Eine neue Veröffentlichung auf arXiv beweist, dass der Key‑Value‑Cache (KV‑Cache), der in der Transformer‑Inference seit langem als unverzichtbare Zustandskomponente gilt, vollständig überflüssig ist. Die Autoren zeigen, dass Schlüssel und Werte in jeder Schicht deterministische Projektionen des Residual‑Streams sind und dass diese aus einem einzigen Residual‑Vektor pro Token exakt rekonstruiert werden können – ohne jeglichen Rekonstruktionsfehler und bit‑identisch.

Die Ergebnisse wurden an sechs unterschiedlichen Modellen aus vier Architekturfamilien getestet, die von 135 M bis 4 B Parametern reichen. Durch das „Residual‑Patching“ auf allen Ebenen wurde ein DKL von 0 zwischen den patchierten und ursprünglichen Ausgabedistributionsverteilungen erreicht, was die Markov‑Eigenschaft des Residual‑Streams bestätigt und ihn als alleinige Informationsquelle identifiziert.

Wenn der KV‑Cache vollständig entfernt wird, liefert die reine Rekonstruktion unter Greedy‑Decoding identische Token‑Ausgaben für alle getesteten Modelle. Aufbauend auf dieser Erkenntnis wurde KV‑Direct entwickelt – ein bounded‑memory‑Inference‑Schema, das statt der vollständigen KV‑Paare lediglich Residual‑Vektoren (5 KB pro Token bei Gemma 3‑4B) speichert und Schlüssel sowie Werte bei Bedarf neu berechnet.

In einer Testreihe mit 20 Gesprächswechseln hielt KV‑Direct einen Spitzen‑Speicherbedarf von 42 MB, während der klassische Cache über 103 MB wuchs. Im Vergleich zu fünf gängigen Eviction‑Strategien (H2O, StreamingLLM, SnapKV, TOVA, Window‑Only) erzielte KV‑Direct bei jedem Cache‑Budget 100 % Token‑Übereinstimmung, während die Baselines zwischen 5 % und 28 % abfielen.

Eine Analyse der Latenz zeigt, dass die Rekonstruktion bis zu fünfmal schneller ist als das Lesen von gecachten Tensoren bei moderaten Batch‑Größen. Der komplette Code ist öffentlich zugänglich unter https://git…