VSPrefill: Neue Sparse‑Attention für lange Kontexte – 4,95‑fach schneller
Die quadratische Komplexität der Selbst‑Attention‑Phase behindert die Nutzung von Sprachmodellen mit sehr langen Kontexten. Bestehende Sparse‑Attention‑Ansätze müssen dabei zwischen Kontext‑Anpassungsfähigkeit, zusätzli…
- Die quadratische Komplexität der Selbst‑Attention‑Phase behindert die Nutzung von Sprachmodellen mit sehr langen Kontexten.
- Bestehende Sparse‑Attention‑Ansätze müssen dabei zwischen Kontext‑Anpassungsfähigkeit, zusätzlichem Sampling‑Overhead und Kosten für Feinabstimmungen abwägen.
- VSPrefill löst dieses Problem mit einem leichtgewichtigen Trainingsschritt, der das charakteristische „vertical‑slash“-Muster in den Aufmerksamkeitsverteilungen nutzt.
Die quadratische Komplexität der Selbst‑Attention‑Phase behindert die Nutzung von Sprachmodellen mit sehr langen Kontexten. Bestehende Sparse‑Attention‑Ansätze müssen dabei zwischen Kontext‑Anpassungsfähigkeit, zusätzlichem Sampling‑Overhead und Kosten für Feinabstimmungen abwägen.
VSPrefill löst dieses Problem mit einem leichtgewichtigen Trainingsschritt, der das charakteristische „vertical‑slash“-Muster in den Aufmerksamkeitsverteilungen nutzt. Das kompakte VSIndexer‑Modul berechnet aus den Key‑Value‑Repräsentationen – ergänzt durch Rotary Position Encoding – wichtige Scores für vertikale Spalten und schrägen Diagonalen. Auf dieser Basis werden sparsitäre Masken mit linearer Laufzeit erzeugt, ohne die Parameter des Kernmodells zu verändern.
Während der Inferenz steuert eine adaptive Schwellen‑Strategie pro Layer die Sparsitätsbudgets, während ein fusionierter Kernel die Indizes dynamisch zusammenführt. In Tests mit Qwen3‑4B‑Instruct und LLaMA‑3.1‑8B‑Instruct auf den Benchmarks LongBench und RULER erreicht VSPrefill 98,35 % der Voll‑Attention‑Genauigkeit und liefert gleichzeitig einen durchschnittlichen Geschwindigkeitszuwachs von 4,95‑fach bei einer Kontextlänge von 128 k Token. Diese Ergebnisse markieren einen neuen Pareto‑Grenzpunkt im Spannungsfeld zwischen Genauigkeit und Effizienz.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.