<strong>Mehr Infos nicht immer besser: Kompression von KV‑Caches spart bis zu 90 % Kommunikation</strong>

In modernen Multi‑Agent‑Systemen, die auf großen Sprachmodellen (LLMs) basieren, wird die Kommunikation zunehmend über latente Nachrichten statt über reine Token abgewickelt. Der aktuelle Ansatz LatentMAS lässt Agenten komplette Key‑Value‑Caches austauschen, was jedoch enorme Speicher- und Kommunikationskosten verursacht. In der neuen Studie wird ein evictions‑basiertes Kompressionsverfahren vorgestellt, das die wichtigsten Informationen beibehält und gleichzeitig die Datenmenge drastisch reduziert.

Der Schlüsselmechanismus, genannt Orthogonal Backfill (OBF), fügt aus verworfenen KV‑Zuständen einen niedrigdimensionalen orthogonalen Residualwert in die verbleibenden KV‑Zustände ein. Dadurch wird der Informationsverlust, der bei harten Eviction‑Strategien entsteht, ausgeglichen. Die Autoren haben OBF an neun etablierten Benchmarks – von mathematischem Denken über Programmieren bis hin zu wissensintensiven Fragen‑Antworten – getestet.

Ergebnisse zeigen, dass OBF die Leistung der vollständigen KV‑Relay‑Methode nahezu identisch hält, während die Kommunikationskosten um 79,8 % bis 89,4 % gesenkt werden. Darüber hinaus erzielt OBF die besten Ergebnisse bei sieben der neun Aufgaben, was darauf hindeutet, dass die Qualität der übertragenen Informationen wichtiger ist als deren Quantität.

Der komplette Code ist öffentlich zugänglich unter GitHub, sodass Entwickler und Forscher die Technik sofort in ihre eigenen Multi‑Agent‑LLM‑Projekte integrieren können.