Generative Optimierung mit LLMs: Warum die Praxis noch zögerlich ist

Generative Optimierung nutzt große Sprachmodelle, um Artefakte – sei es Code, Workflows oder Prompt‑Designs – mithilfe von Ausführungsfeedback schrittweise zu verbessern. Trotz des vielversprechenden Ansatzes bleibt die Umsetzung in der Praxis fragil: In einer aktuellen Befragung setzten lediglich 9 % der Agenten automatisierte Optimierung ein.

Die Autoren erklären, dass die Schwäche vor allem auf versteckte Designentscheidungen zurückzuführen ist. Ein Entwickler muss festlegen, welche Elemente der Optimierer bearbeiten darf und welche Art von Lernbeweis bei jedem Update geliefert werden soll. Diese scheinbar kleinen Entscheidungen haben jedoch enorme Auswirkungen auf den Erfolg des Lernzyklus.

In ihrer Untersuchung konzentrieren sie sich auf drei Schlüsselfaktoren: das Ausgangsartefakt, die Kreditzeitspanne für Ausführungstraces und die Bündelung von Versuchen und Fehlern zu Lernbeweisen. Durch Fallstudien in MLAgentBench, Atari und BigBench Extra Hard zeigen sie, dass diese Parameter bestimmen, ob die generative Optimierung funktioniert.

Beispielsweise beeinflussen unterschiedliche Ausgangsartefakte, welche Lösungen in MLAgentBench erreichbar sind. Kürzere Traces können Atari‑Agenten dennoch verbessern, während größere Mini‑Batches nicht zwangsläufig die Generalisierung bei BBEH steigern. Diese Ergebnisse verdeutlichen, dass es noch keine einheitliche, universelle Vorgehensweise gibt, um Lernschleifen über verschiedene Domänen hinweg einzurichten.

Die Autoren schließen mit praktischen Empfehlungen, wie man diese kritischen Entscheidungen trifft, um die Produktionsreife und Akzeptanz von generativen Optimierungsagenten zu erhöhen. Ihre Arbeit liefert damit einen wichtigen Leitfaden für Entwickler, die LLM‑basierte Optimierung in realen Anwendungen einsetzen wollen.