VPBoost: Trust‑Region Gradient Boosting für glatte Modelle

In einer neuen Veröffentlichung auf arXiv stellt das Forschungsteam VPBoost vor – einen Gradient‑Boosting‑Algorithmus, der Variable Projection mit einer zweiten‑Ordnung‑Lernstrategie kombiniert. Während klassische Boosting‑Methoden vor allem für schwache Entscheidungsbäume entwickelt wurden, adressiert VPBoost die bislang weniger erforschte Klasse glatter, parametrischer Modelle wie neuronale Netze.

Der Kern von VPBoost ist die Variable‑Projection‑Technik, die die linearen Gewichte eines separablen Modells – bestehend aus einem glatten Nichtlinearitäts‑Feature‑Mapper und einer linearen Ausgabeschicht – optimal bestimmt. Durch die Einbindung einer zweiten‑Ordnung‑Boosting‑Strategie entsteht ein geschlossener Ausdruck für die linearen Gewichte, wodurch VPBoost als funktionaler Trust‑Region‑Algorithmus interpretiert werden kann. Die Autoren zeigen, dass der Ansatz unter milden geometrischen Bedingungen konvergiert und bei stärkeren Voraussetzungen sogar eine superlineare Konvergenz erreicht.

Um die Praxisrelevanz zu demonstrieren, wurden umfangreiche Experimente auf synthetischen Datensätzen, Bildklassifikationsaufgaben und wissenschaftlichen Machine‑Learning‑Benchmarks durchgeführt. Die Ergebnisse zeigen, dass VPBoost die Leistungskennzahlen gegenüber herkömmlichen gradientenbasierten Boosting‑Methoden verbessert und gleichzeitig mit branchenüblichen Entscheidungsbaum‑Boostern konkurriert. Diese Fortschritte markieren einen bedeutenden Schritt zur Verbreitung von Boosting‑Ansätzen für glatte, parametrische Lernmodelle.