LLM-Decodierung wird adaptiv: Neue Lernmethoden verbessern Genauigkeit

Traditionell setzen große Sprachmodelle bei der Textgenerierung feste Sampling‑Parameter wie Temperatur oder Top‑p ein. Diese Vorgehensweise ignoriert jedoch, dass die Schwierigkeit eines Promptes und die Unsicherheit während des Decodings stark variieren können. In einer neuen Studie wird deshalb ein adaptiver Ansatz vorgestellt, bei dem die Sampling‑Strategie dynamisch an die jeweilige Aufgabe und die verfügbaren Rechenressourcen angepasst wird.

Statt das Sprachmodell selbst zu feintunen, werden leichte Decoding‑Adapter entwickelt, die mit Reinforcement Learning trainiert werden. Die Belohnungen basieren auf überprüfbaren Endergebnissen, etwa der Richtigkeit von mathematischen oder Programmieraufgaben. Auf der Sequenzebene wird das Problem als kontextbasiertes Bandit‑Problem formuliert: Für jeden Prompt wählt die Policy eine Decoding‑Strategie (z. B. greedy, top‑k, min‑p) unter Berücksichtigung des Prompt‑Embeddings und eines parallelen Sampling‑Budgets. Auf Token‑Ebene wird die Decodierung als teilweise beobachtbarer Markov‑Entscheidungsprozess modelliert, bei dem die Policy bei jedem Token Schritt basierend auf internen Modellmerkmalen und dem verbleibenden Token‑Budget entscheidet.

Die Experimente auf den Benchmarks MATH und CodeContests zeigen, dass die adaptiven Adapter die Genauigkeit im Verhältnis zum Budget deutlich steigern. Der Token‑Level‑Adapter erhöht die Pass@1‑Genauigkeit bei MATH um bis zu 10,2 % im Vergleich zum besten statischen Baseline bei festem Token‑Budget. Der Sequence‑Level‑Adapter liefert 2 – 3 % Verbesserungen bei festem parallelem Sampling. Ablationsstudien bestätigen, dass sowohl die Sequenz‑ als auch die Token‑Ebene einen wesentlichen Beitrag leisten.