PRAISE: Effizientere Agentic Search-Trainings mit Prefix-Reuse

Ein neues Verfahren namens PRAISE (Prefix-based Rollout reuse for Agentic search with Intermediate Step rEwards) verspricht, die Effizienz von Sprachmodellen beim komplexen Mehrschritt-Entscheidungsprozess zu steigern. Durch die gezielte Nutzung von Zwischenschritten in Suchpfaden können bisher ungenutzte Rollouts wiederverwendet und Schritt-für-Schritt-Belohnungen generiert werden.

Traditionelle Reinforcement-Learning-Ansätze für Agentic Search leiden unter zwei Hauptproblemen: lange Rollouts werden kaum genutzt und die Belohnung ist nur am Ende des Prozesses verfügbar, was zu einer starken Belohnungssparsheit führt. PRAISE löst diese Probleme, indem es aus einer vollständigen Suchtrajektorie Prefix-Zustände extrahiert, daraus Zwischenantworten ableitet und sowohl zusätzliche Trainingspfade erstellt als auch Schritt-level-Belohnungen aus Leistungsunterschieden zwischen Prefixes berechnet.

Ein weiteres Highlight ist die Verwendung eines einzigen Modells für die Lernphase der Suchpolicy und die Bewertung der Prefix-Antworten. Dadurch entfällt die Notwendigkeit zusätzlicher menschlicher Annotationen oder eines separaten Belohnungsmodells, was die Implementierung vereinfacht und die Trainingskosten senkt.

Experimentelle Ergebnisse auf Multi-Hop-Question-Answering-Benchmarks zeigen, dass PRAISE die Leistung gegenüber etablierten Baselines konsequent verbessert. Das Verfahren demonstriert damit, wie intelligente Wiederverwendung von Zwischenschritten die Daten- und Kreditzuweisung in Agentic Search signifikant optimieren kann.