RelayCaching beschleunigt LLM-Kollaboration durch KV-Cache-Wiederverwendung

Die Komplexität moderner KI-Aufgaben hat den Fokus von monolithischen Modellen auf kollaborative Systeme mit mehreren großen Sprachmodellen (LLMs) verlagert. Dabei entsteht ein entscheidendes Engpassproblem: bei der gemeinsamen Nutzung von Inhalten müssen Agenten wiederholt die gleichen Prä-Fill-Operationen durchführen, was den Speicherbedarf für KV‑Caches stark erhöht und die Zeit bis zum ersten Token (TTFT) verlängert.

Verschiedene Ansätze zur Reduktion dieser Redundanz haben sich als unzureichend erwiesen – entweder verlieren sie an Genauigkeit bei agentengenerierten Ausgaben oder erzielen nur geringe Wiederverwendungsraten, weil sie zu starr formuliert sind.

RelayCaching bietet eine völlig neue Lösung: Es nutzt die KV‑Caches, die während der Decodierungsphase eines Agenten entstehen, direkt in den Prä-Fill-Phasen der nachfolgenden Agenten wieder. Der Schlüssel liegt darin, dass KV‑Caches für identische Inhalte über die Phasen hinweg nahezu identisch bleiben, während Abweichungen durch Präfixe nur selten und lokal in wenigen Schichten und Tokenpositionen auftreten.

Durch gezieltes Neuberechnen der KV‑Caches an diesen wenigen Stellen kann RelayCaching die Modellgenauigkeit nahezu unverändert halten, während es gleichzeitig die Effizienz deutlich steigert. In umfangreichen Experimenten – von mathematischem Schließen über allgemeines Wissen bis hin zu Code‑Generierung – erzielte die Methode mehr als 80 % Wiederverwendung der KV‑Caches und verkürzte die TTFT um bis zu 4,7‑fach im Vergleich zum herkömmlichen Ablauf, ohne dass die Genauigkeit merklich leidet.