Wie Budgetbeschränkungen Agenten-LLM-Suche präzisieren und Kosten senken

In einer neuen Studie von arXiv (2603.08877v1) wird untersucht, wie begrenzte Budgets die Genauigkeit und Kosten von Agenten-LLM-Suchsystemen beeinflussen. Die Autoren analysieren Agentic Retrieval-Augmented Generation (RAG)-Modelle, die iterative Suche, Planungsaufforderungen und Retrieval-Backends kombinieren, aber in der Praxis mit festen Beschränkungen für Tool-Aufrufe und Token-Anzahl arbeiten.

Mit dem Budget-Constrained Agentic Search (BCAS)-Framework, das den verbleibenden Budgetstatus anzeigt und Tool-Nutzung steuert, wurden sechs große Sprachmodelle und drei Frage-Antwort-Benchmarks getestet. Die Ergebnisse zeigen, dass die Genauigkeit mit zunehmender Suchtiefe bis zu einem gewissen Punkt steigt, danach jedoch abnimmt. Besonders effektiv ist die Kombination aus lexikalischer und dichten Retrieval-Strategien, gefolgt von leichtem Re-Ranking, die die größten durchschnittlichen Verbesserungen erzielt.

Ein weiteres Ergebnis betrifft die Größe des Completion-Budgets: Größere Token-Limits sind besonders bei komplexen Syntheseaufgaben wie HotpotQA von Vorteil. Die Studie liefert damit konkrete Handlungsempfehlungen für die Konfiguration von budgetierten Agenten-Retrieval-Pipelines und stellt reproduzierbare Prompts sowie Evaluationsparameter zur Verfügung.