ShapE-GRPO: Shapley-basierte Belohnungsaufteilung verbessert LLM-Training

In modernen Interaktionsszenarien zwischen Nutzern und KI-Agenten – etwa bei Empfehlungen, Brainstorming oder Codevorschlägen – erzeugen große Sprachmodelle (LLMs) häufig mehrere Kandidaten gleichzeitig. Ziel ist dabei, die Gesamtnutzen der gesamten Kandidatengruppe zu maximieren, nicht die einzelnen Vorschläge isoliert.

Der bisher verbreitete Ansatz Group Relative Policy Optimization (GRPO) weist jedem Kandidaten im Set denselben, set‑level‑scalar‑Reward zu. Dadurch entsteht ein verrauschtes Signal: schwache Kandidaten profitieren von der hohen Belohnung eines starken Mitbewerbers, was die Exploration des Modells verlangsamt und zu suboptimalen Ergebnissen führt.

ShapE‑GRPO löst dieses Problem, indem es die Permutationsinvarianz der set‑level‑Utility nutzt und aus der kooperativen Spieltheorie ein Shapley‑basierter Ansatz ableitet. Die Methode zerlegt den Gesamtreward in feinkörnige, kandidaten‑spezifische Signale, die die Grundaxiome des Shapley‑Werts bewahren und dennoch in polynomieller Zeit berechnet werden können.

Experimentelle Studien zeigen, dass ShapE‑GRPO gegenüber dem Standard‑GRPO in einer Vielzahl von Datensätzen konsequent bessere Ergebnisse liefert und das Training deutlich schneller konvergiert. Damit bietet die neue Technik einen vielversprechenden Weg, LLM‑Training in interaktiven Anwendungen effizienter und zielgerichteter zu gestalten.