Speculative Decoding: Wie Aufgabenarten die Akzeptanz bei LLMs beeinflussen
Die neueste Studie zum Speculative Decoding zeigt, dass die Art einer Aufgabe entscheidender für die Akzeptanzrate eines großen Sprachmodells (LLM) ist als die Tiefe des vorgeschlagenen Token-Baums. Durch die Kombinatio…