Verbesserte Trust-Region Bayesian Optimization mit Newton-Methoden
Die neueste Veröffentlichung auf arXiv (2508.18423v1) präsentiert einen innovativen Ansatz zur Steigerung der Effizienz von Bayesian Optimization (BO) in hochdimensionalen Räumen. Während herkömmliche BO-Methoden mit globalen Gaussian Processes (GPs) oft an die Grenzen der Skalierbarkeit stoßen, setzt der neue Ansatz auf mehrere lokale quadratische Modelle, die aus Gradienten und Hesse-Matrizen eines globalen GPs abgeleitet werden.
Durch die Lösung eines beschränkten quadratischen Optimierungsproblems werden neue Stichprobenpunkte gezielt ausgewählt, wodurch die Exploration in den relevanten Regionen fokussiert und die Gesamtzahl der benötigten Funktionsauswertungen reduziert wird. Gleichzeitig wird das Problem schwacher Gradienten in hochdimensionalen GPs adressiert, was die Stabilität und Genauigkeit der Modellschätzungen verbessert.
Die Autoren liefern eine formale Konvergenzanalyse und demonstrieren in umfangreichen Experimenten, dass ihr Verfahren die Leistungsfähigkeit des bestehenden TuRBO-Frameworks deutlich steigert. Auf synthetischen Testfunktionen sowie in realen Anwendungen übertrifft die Methode eine breite Palette anderer hochdimensionaler BO-Strategien.