KV Packet: Rekalkulationsfreie KV‑Caching‑Lösung für LLMs

Large Language Models (LLMs) setzen stark auf Key‑Value (KV) Caching, um die Inferenzzeit zu verkürzen. Das Problem: Standard‑Caches sind kontextabhängig. Wenn ein bereits gecachter Text in einem neuen Kontext wiederverwendet wird, muss die KV‑State‑Rechnung neu durchgeführt werden, um die veränderte Aufmerksamkeitsverteilung zu berücksichtigen.

Aktuelle Ansätze wie CacheBlend, EPIC und SAM‑KV reduzieren diesen Aufwand, indem sie nur einen Teil der Tokens neu berechnen. Dennoch entstehen erhebliche Rechenkosten (FLOPs) und die Time‑to‑First‑Token (TTFT) steigt.

Die neue Methode „KV Packet“ löst das Problem komplett: Gecachte Dokumente werden als unveränderliche „Pakete“ behandelt, die mit leichtgewichtigen, trainierbaren Soft‑Token‑Adapters versehen sind. Diese Adapter werden durch selbstüberwachtes Distillationstraining so optimiert, dass sie Kontextunterschiede nahtlos überbrücken. In Experimenten mit Llama‑3.1 und Qwen2.5 erzielte KV Packet nahezu null zusätzliche FLOPs, reduzierte die TTFT gegenüber rekalkulationsbasierten Baselines und hielt gleichzeitig die F1‑Scores auf dem Niveau des vollständigen Recomputationsansatzes.