BAMBO: Bayesian Block‑wise Optimierung liefert effiziente LLM‑Pareto-Sets

Die neue Methode BAMBO (Bayesian Adaptive Multi‑objective Block‑wise Optimization) löst ein langjähriges Problem in der Entwicklung großer Sprachmodelle: die effiziente Erzeugung von Pareto‑Sätzen, die die Balance zwischen Leistungsfähigkeit und Rechenaufwand abbilden. Traditionelle Ansätze, die auf Modell‑Ebene arbeiten, liefern nur wenige, oft suboptimale Lösungen, während schrittweise, layer‑weise Verfahren die Dimensionalität so stark erhöhen, dass die Suche praktisch unmöglich wird.

BAMBO überwindet diese Grenzen, indem es einen Hybrid‑Optimal‑Block‑Partitionierungs‑Ansatz einführt. Durch die Formulierung als 1‑D‑Clustering‑Problem und die Anwendung einer dynamischen Programmierung wird die Homogenität innerhalb der Blöcke maximiert und gleichzeitig die Informationsverteilung zwischen den Blöcken optimiert. Das Ergebnis ist eine drastische Reduktion der Dimensionalität, ohne dass wichtige Details verloren gehen.

Der gesamte Optimierungsprozess läuft in einem evolutionären Loop, der die q‑Expected‑Hypervolume‑Improvement (qEHVI) als Akquisitionsfunktion nutzt. In umfangreichen Experimenten konnte BAMBO einen deutlich umfassenderen und qualitativ besseren Pareto‑Frontier als bestehende Baselines entdecken. Damit ermöglicht die Methode eine schnelle und flexible Auswahl von Modellen, die exakt zu unterschiedlichen betrieblichen Anforderungen passen.

Der Code ist frei verfügbar unter https://github.com/xin8coder/BAMBO.