Robuste Token-Optimierung: LLMs meistern Sprachschwankungen dank DRTO

Moderne Sprachmodelle zeigen oft erstaunliche Genauigkeit, wenn die Eingabe genau dem Trainingsdatensatz entspricht. Doch schon kleine Änderungen in Wortwahl, Format oder Sprache können zu unerwarteten Fehlern führen, besonders bei mehrstufigen Rechenaufgaben. Um diesem Problem entgegenzuwirken, wurde die Methode „Distributionally Robust Token Optimization“ (DRTO) entwickelt.

DRTO kombiniert tokenbasierte Verstärkungslernverfahren aus dem Bereich Human‑Feedback (RLHF) mit Distributionally Robust Optimization (DRO). Durch die Konstruktion eines f‑Divergenz‑Ambiguitätsraums über ein Verlust‑Mini‑Batch werden die schlechtesten token‑weisen Belohnungen begrenzt, was theoretisch eine höhere Robustheit garantiert.

In praktischen Tests zeigte DRTO signifikante Verbesserungen bei mathematischen Reasoning‑Benchmarks. Auf GSM8K erzielte das Verfahren eine Steigerung von 9,17 % und auf MathQA eine Verbesserung von 2,49 %. Diese Ergebnisse unterstreichen das Potenzial von DRTO, die Zuverlässigkeit von LLMs unter veränderten Sprachbedingungen nachhaltig zu erhöhen.