MAC-Attention: Schnellere und genaue Attention‑Berechnung für lange Kontexte

In der Welt der großen Sprachmodelle (LLMs) ist die Verarbeitung langer Kontexte oft durch I/O‑Bottlenecks begrenzt: jedes neue Token muss einen immer größer werdenden KV‑Cache erneut lesen. Traditionelle Beschleunigungsansätze reduzieren die Datenmenge durch Kompression oder selektives Auswerfen, was jedoch die Genauigkeit oder die Zugänglichkeit der Informationen beeinträchtigt.

Die neue Methode MAC‑Attention löst dieses Problem, indem sie frühere Attention‑Berechnungen für semantisch ähnliche, aktuelle Anfragen wiederverwendet. Der Ansatz besteht aus drei Phasen: zunächst ein Match-Schritt, der über ein kurzes lokales Fenster eine L2‑Übereinstimmung ohne RoPE durchführt; anschließend ein Amend-Schritt, der die wiederverwendete Attention in einer kleinen Bandbreite nahe der Übereinstimmungsgrenze neu berechnet; und schließlich ein Complete-Schritt, der die korrigierten Ergebnisse mit frischer Attention aus dem KV‑Tail numerisch stabil zusammenführt.

Bei einem Treffer bleibt die Rechen- und Bandbreitenkomplexität konstant, unabhängig von der Gesamtlänge des Kontexts. MAC‑Attention ist modellunabhängig und lässt sich nahtlos mit I/O‑sensiblen Kerneln, paged‑KV‑Managern sowie MQA/GQA‑Architekturen kombinieren.

In umfangreichen Benchmarks – LongBench v2 (120 K), RULER (120 K) und LongGenBench (16 K kontinuierliche Generierung) – übertrifft MAC‑Attention die aktuelle FlashInfer‑Bibliothek deutlich: KV‑Zugriffe werden um bis zu 99 % reduziert, die Token‑Generierungslatenz um mehr als 60 % bei 128 K verkürzt, und die Attention‑Phase erzielt über 14,3‑fachere Geschwindigkeitssteigerungen, was zu bis zu 2,6‑fachen End‑zu‑End‑Verbesserungen führt – und das alles ohne Qualitätsverlust.

Der Quellcode ist öffentlich verfügbar unter https://github.com/YJHMITWEB/MAC-Attention.git.