SpecPV beschleunigt Langkontext-Generierung um bis zu 6x

Die steigende Nachfrage nach Aufgaben wie Code‑Generierung, tiefgreifendem Denken und dem Verständnis langer Dokumente hat die Langkontext‑Generierung zu einer Schlüsselkompetenz für große Sprachmodelle (LLMs) gemacht. Spekulatives Decoding, ein Ansatz, bei dem ein leichtgewichtiges Modell mehrere Token‑Kandidaten vorschlägt und ein Zielmodell diese prüft, gilt als besonders effizient. Doch mit zunehmender Kontextlänge wird die Verifikation zum Hauptengpass.

Um dieses Problem zu lösen, stellt das neue Verfahren SpecPV vor: eine selbst‑spekulative Decoding‑Strategie, die schnelle Verifikationen mit partiellen Schlüssel‑Wert‑Zuständen (KV) durchführt und regelmäßig vollständige Verifikationen einsetzt, um aufkommende Fehler zu korrigieren. Dadurch bleibt die Genauigkeit erhalten, während die Verarbeitungsgeschwindigkeit erheblich gesteigert wird.

Experimentelle Tests mit Modellen wie LLaMA‑3.1‑8B‑Instruct und der Qwen3‑Serie zeigen, dass SpecPV die Decodierungsgeschwindigkeit im Vergleich zur herkömmlichen autoregressiven Methode um bis zu sechsmal erhöhen kann, wobei die Qualitätsverluste minimal bleiben. Diese Ergebnisse unterstreichen das Potenzial von SpecPV, die Effizienz von LLMs in langkontextuellen Anwendungen deutlich zu verbessern.