CSAttention: Centroid-Scoring Attention beschleunigt LLM-Infere

Langzeitkontext-Modelle für Sprachagenten und domänenspezifische Q&A‑Anwendungen setzen zunehmend auf wiederverwendbare Prefill‑Prompts. Dadurch werden die Attention‑Mechanismen und der KV‑Cache zu den Hauptengpässen bei der Decodierung.

CSAttention (Centroid‑Scoring Attention) löst dieses Problem mit einer trainingsfreien, sparsamen Attention‑Methode, die speziell für die hohe Durchsatzrate bei wiederverwendbaren Kontexten entwickelt wurde. Durch eine einmalige Offline‑Prefill‑Phase werden query‑zentrierte Lookup‑Tabellen erstellt, deren Größe während der Decodierung konstant bleibt. Im Online‑Decode ersetzt die Methode vollständige Kontext‑Scans durch effiziente Tabellensuchen und GPU‑freundliche Score‑Kumulierung.

Umfangreiche Experimente zeigen, dass CSAttention die Genauigkeit der Voll‑Attention nahezu identisch reproduziert. Bei einer hohen Sparsität von 95 % und langen Kontextlängen zwischen 32 K und 128 K übertrifft die Methode aktuelle sparsante Attention‑Ansätze sowohl in der Modellgenauigkeit als auch in der Inferenzgeschwindigkeit. Besonders beeindruckend ist ein bis zu 4,6‑faches Speed‑Up gegenüber dem leistungsstärksten Baseline bei einer Kontextlänge von 128 K.