Neue adaptive Simulation: Optimierung von LLM-Strategien mit LLM-PO

Ein neues Forschungsprojekt aus dem Bereich der künstlichen Intelligenz zeigt, wie große Sprachmodelle (LLMs) effizienter eingesetzt werden können, indem ihre Einsatzrichtlinien systematisch optimiert werden. Die Autoren behandeln LLMs als stochastische Simulationswerkzeuge und entwickeln ein Verfahren, das auf paarweisen Vergleichen basiert, um aus einer begrenzten Auswahl die beste Richtlinie zu bestimmen.

Das Verfahren berücksichtigt zwei Arten von Richtlinienräumen: einen unstrukturierten Raum ohne vorgegebene Parameter und einen strukturierten Raum, in dem die Daten aus einem Präferenzmodell generiert werden. Für beide Szenarien wird die notwendige Datenmenge definiert, die erforderlich ist, um mit hoher Wahrscheinlichkeit die optimale Richtlinie zu finden.

Im unstrukturierten Fall liefert die Studie eine geschlossene Formel für die optimalen Stichprobenanteile, die zugleich eine klare operative Interpretation besitzt. Für den strukturierten Raum wird ein reguliertes konvexes Optimierungsproblem formuliert, das die optimalen Proportionen berechnet. Anschließend wird die adaptive Experimentiermethode „LLM‑PO“ vorgestellt, die für beide Richtlinienräume funktioniert.

Die Autoren beweisen, dass LLM‑PO die optimale Richtlinie mit der gewünschten statistischen Garantie identifiziert und asymptotisch die theoretisch minimal erforderliche Datenmenge erreicht. Simulationen zeigen, dass LLM‑PO im Vergleich zu bestehenden Ansätzen konsequent bessere Ergebnisse liefert und die Gesamtleistung von LLMs deutlich steigert.