LLM-basierte Suchagenten verbessern: Beitrag-gewichtete GRPO

Die neuesten Fortschritte in der KI zeigen, dass große Sprachmodelle (LLMs) nicht mehr nur auf statisches Wissen beschränkt sind. Durch den Einsatz von Suchagenten können sie aktuelle und seltene Informationen abrufen, die während des Trainings nicht verfügbar waren.

Traditionell werden solche Agenten mit Reinforcement Learning trainiert, doch dabei stoßen bestehende Methoden an ihre Grenzen: Prozessüberwachung leidet unter instabilen Wertschätzungen, während Ergebnisüberwachung Schwierigkeiten bei der Zuordnung von Belohnungen auf einzelne Schritte hat.

Die neue Methode Contribution-Weighted GRPO (CW‑GRPO) löst dieses Problem, indem sie Prozessüberwachung in die Group Relative Policy Optimization integriert. Anstatt Prozessbelohnungen direkt zu optimieren, bewertet ein LLM-Judge die Nützlichkeit von Suchvorgängen und die Richtigkeit der Argumentation in jeder Suchrunde und erzeugt daraus Beitragsscores.

Diese Scores werden genutzt, um die auf Ergebnisbasis berechneten Vorteile entlang der gesamten Trajektorie fein zu skalieren. Dadurch wird eine präzise Kreditzuweisung ermöglicht, ohne die Stabilität des Optimierungsprozesses zu gefährden.

In Experimenten auf mehreren wissensintensiven Benchmarks übertrifft CW‑GRPO das Standardverfahren um 5 % bei Qwen3‑8B und um 6,3 % bei Qwen3‑1.7B. Die Agenten zeigen dadurch ein deutlich effektiveres Suchverhalten. Eine zusätzliche Analyse legt nahe, dass erfolgreiche Trajektorien stark konzentrierte Beiträge über die Runden hinweg aufweisen, was wertvolle Einblicke in die Aufgabenstruktur liefert.

Zusammengefasst bietet CW‑GRPO einen vielversprechenden Ansatz, um die Leistungsfähigkeit von LLM‑basierten Suchagenten zu steigern, indem es die Vorteile von Prozess- und Ergebnisüberwachung geschickt kombiniert.