ScoutAttention: CPU‑Vorberechnung beschleunigt KV‑Cache‑Offloading bei LLMs

Große Sprachmodelle stoßen bei langen Kontexten an die Grenzen der GPU‑Speicherkapazität, weil der KV‑Cache enorme Mengen an Speicher beansprucht. Traditionelle Ansätze, den Cache in DRAM auszulagern, leiden an häufigen GPU‑CPU‑Datenübertragungen oder an aufwändigen CPU‑Berechnungen, was die GPU‑Auslastung stark reduziert.

ScoutAttention löst dieses Problem, indem es GPU‑ und CPU‑Berechnungen für die Attention‑Operationen kooperativ nutzt. Durch blockweise, spärliche Attention wird die CPU‑Last deutlich gesenkt. Der Schlüssel liegt in einem neuartigen „Layer‑Ahead“-CPU‑Vorberechnungsalgorithmus: Die CPU startet die Berechnung eines Layers im Voraus und ruft die Ergebnisse asynchron zurück, sodass die GPU ohne Unterbrechungen weiterarbeiten kann.

Experimentelle Ergebnisse zeigen, dass ScoutAttention die Genauigkeit des Modells nur um maximal 2,4 % im Vergleich zur Basisvariante reduziert, während die Ausführungszeit im Vergleich zu bestehenden Offloading‑Methoden um 2,1‑fach erhöht wird. Damit bietet ScoutAttention eine effiziente Lösung, um die Speicherbeschränkungen von LLM‑Inference zu überwinden und gleichzeitig die GPU‑Nutzung zu maximieren.