Speculative Decoding: Wie Aufgabenarten die Akzeptanz bei LLMs beeinflussen

Die neueste Studie zum Speculative Decoding zeigt, dass die Art einer Aufgabe entscheidender für die Akzeptanzrate eines großen Sprachmodells (LLM) ist als die Tiefe des vorgeschlagenen Token-Baums. Durch die Kombination eines kleinen „Draft“-Modells, das einen Token-Baum vorschlägt, und eines größeren Zielmodells, das die Tokens in einem einzigen Batch prüft, kann die Inferenzzeit erheblich verkürzt werden.

In einer umfangreichen Analyse wurden 99 768 speculative Nodes aus 200 Prompts über vier etablierte NLP-Benchmarks gesammelt: Code‑Generierung, mathematisches und logisches Denken sowie offene Chat‑Interaktionen. Dabei wurde TinyLlama‑1.1B als Draft‑Modell und Llama‑2‑7B‑Chat‑GPTQ als Zielmodell eingesetzt.

Die Ergebnisse sind eindeutig: Der Aufgabenbereich ist ein stärkerer Prädiktor für die Akzeptanz als die Baumtiefe. Nur im Chat‑Bereich erreicht die erwartete akzeptierte Tokenlänge mehr als einen Token pro Schritt. Die Korrelation zwischen Entropie und Akzeptanz bleibt zwar negativ, ist jedoch in allen Domänen schwach (rho zwischen –0,20 und –0,15). Überraschenderweise weist der Chat‑Bereich die höchste Entropie auf, gleichzeitig aber die höchste Akzeptanzrate, was auf die lexikalische Vorhersagbarkeit des RLHF‑ausgerichteten Registers zurückgeführt wird.

Diese Erkenntnisse liefern klare Hinweise für die Optimierung von Speculative Decoding: Durch domänenspezifische Budgetplanung und gezielte Auswahl des Draft‑Modells lassen sich Effizienz und Genauigkeit von LLM‑Inference deutlich verbessern.