Persistente KV-Cache: Multi-Agent-LLM auf Edge-Geräten effizienter
Multi-Agent-LLM-Systeme, die auf Edge-Geräten laufen, stoßen häufig an die Grenzen des verfügbaren RAMs. Auf einem Apple M4 Pro mit einem Cache-Budget von 10,2 GB passen bei 8 K‑Kontextgröße nur drei Agenten gleichzeiti…
- Multi-Agent-LLM-Systeme, die auf Edge-Geräten laufen, stoßen häufig an die Grenzen des verfügbaren RAMs.
- Auf einem Apple M4 Pro mit einem Cache-Budget von 10,2 GB passen bei 8 K‑Kontextgröße nur drei Agenten gleichzeitig in FP16.
- Ein Workflow mit zehn Agenten muss daher ständig KV‑Caches evictieren und neu laden, was ohne Persistenz zu einer vollständigen Prefill‑Rechnung führt – etwa 15,7 Sekund…
Multi-Agent-LLM-Systeme, die auf Edge-Geräten laufen, stoßen häufig an die Grenzen des verfügbaren RAMs. Auf einem Apple M4 Pro mit einem Cache-Budget von 10,2 GB passen bei 8 K‑Kontextgröße nur drei Agenten gleichzeitig in FP16. Ein Workflow mit zehn Agenten muss daher ständig KV‑Caches evictieren und neu laden, was ohne Persistenz zu einer vollständigen Prefill‑Rechnung führt – etwa 15,7 Sekunden pro Agent bei 4 K Kontext.
Die neue Lösung speichert jeden Agenten‑KV‑Cache dauerhaft auf der Festplatte in einem 4‑Bit‑quantisierten Format. Beim nächsten Aufruf wird der Cache direkt in die Attention‑Schicht geladen, wodurch die aufwändige O(n)-Prefill‑Berechnung entfällt. Das System besteht aus drei Kernkomponenten: einem Block‑Pool, der isolierte Q4‑KV‑Caches im safetensors‑Format bereitstellt; einem BatchQuantizedKVCache, der gleichzeitig mehrere quantisierte Caches verarbeitet; und einer Cross‑Phase‑Context‑Injection, die den Attention‑Zustand über Gesprächsphasen hinweg ohne erneute Berechnung anhäuft.
In Tests mit Gemma 3 12B, DeepSeek‑Coder‑V2‑Lite 16B und Llama 3.1 8B reduziert die Cache‑Restoration die Zeit bis zum ersten Token um bis zu 136‑fach (Gemma: 22–136× bei 4 K–32 K, DeepSeek: 11–76× bei 4 K–32 K, Llama: 24–111× bei 4 K–16 K). Q4‑Quantisierung ermöglicht zudem, viermal mehr Agenten‑Kontexte im gleichen Speicherplatz unterzubringen als FP16. Die gemessene Perplexität ändert sich minimal – –0,7 % bei Gemma, +2,8 % bei Llama und +3,0 % bei DeepSeek.
Der komplette Code ist Open‑Source verfügbar unter https://github.com/yshk-mxim/agent-memory.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.