Multi-Agenten steigern LLM-Optimierung durch klare Strategie

In der Forschung zur sequentiellen Entscheidungsfindung steht das Gleichgewicht zwischen Exploration und Exploitation im Mittelpunkt. Während klassische Bayessche Optimierung diese Balance explizit über Akquisitionsfunktionen steuert, nutzen Optimierungen mit großen Sprachmodellen (LLMs) eher implizite, promptbasierte Überlegungen zu vergangenen Bewertungen. Dadurch wird das Suchverhalten schwer nachvollziehbar und schwer steuerbar.

Eine neue Studie untersucht, wie LLMs auf metrischer Ebene Exploration- und Exploitation-Strategien entwickeln. Dabei werden verschiedene Definitionen von Exploration – etwa Informationsgehalt, Vielfalt und Repräsentativität – berücksichtigt. Die Ergebnisse zeigen, dass ein einzelner LLM-Agent, der gleichzeitig Strategieauswahl und Kandidatengenerierung übernimmt, unter kognitiver Überlastung leidet, was zu instabilen Suchdynamiken und vorzeitiger Konvergenz führt.

Um dieses Problem zu lösen, wird ein Multi-Agenten-Framework vorgestellt. Ein Strategie-Agent weist interpretierten Gewichten mehrere Suchkriterien zu, während ein separater Generierungs-Agent Kandidaten erzeugt, die auf dieser gewichteten Suchpolitik basieren. Durch diese Aufteilung werden die Entscheidungen explizit, beobachtbar und anpassbar gemacht.

Experimentelle Tests auf verschiedenen kontinuierlichen Optimierungsbenchmarks zeigen, dass die Trennung von Strategie- und Generierungsaufgaben die Leistung deutlich verbessert. Die neue Architektur ermöglicht es, die Exploration-Exploitation-Balance gezielt zu steuern und damit die Effizienz von LLM-basierten Optimierungsverfahren zu erhöhen.