Cactus: Beschleunigte Autoregressive Decodierung durch begrenzte Akzeptanz‑Sampling

In einer neuen Veröffentlichung auf arXiv (2604.04987v1) wird ein innovativer Ansatz vorgestellt, der die Geschwindigkeit der Autoregressiven Decodierung von großen Sprachmodellen deutlich steigert. Der Kern des Konzepts ist das sogenannte „Constrained Acceptance Speculative Sampling“ (Cactus), das die bisherige, zu restriktive Praxis des Speculative Sampling (SpS) überarbeitet.

Traditionelles Speculative Sampling nutzt kleinere Entwurfsmodelle, um die Ausgabe eines großen Verifikationsmodells zu beschleunigen. Dabei wird jedoch die erzeugte Wahrscheinlichkeitsverteilung strikt an die des Verifikators angepasst, was unnötig eng ist. Kleine Abweichungen – etwa durch Top‑k‑Sampling oder Temperatur‑Modulation – könnten ebenfalls akzeptabel sein, ohne die Qualität zu beeinträchtigen.

Der neue Ansatz, Cactus, formalisierte das Problem als konstraintes Optimierungsproblem. Durch gezielte Steuerung der Divergenz zur Verifikationsverteilung kann das Modell mehr Tokens akzeptieren, ohne die Integrität kritischer Informationen zu gefährden. Im Vergleich zu herkömmlichen Akzeptanzmethoden, die die Verifikationsverteilung verzerren, zeigt Cactus höhere Akzeptanzraten und gleichzeitig eine verbesserte Ausgabequalität.

Experimentelle Ergebnisse auf einer Vielzahl von Benchmarks belegen die Wirksamkeit von Cactus. Die Methode bietet einen klaren Fortschritt in der effizienten Nutzung von Sprachmodellen und eröffnet neue Möglichkeiten für schnellere, dennoch zuverlässige Textgenerierung.