Neues Modell Adam-PFN beschleunigt Hyperparameter‑Optimierung von Adam

Der Adam‑Optimierer gehört zu den meistgenutzten Algorithmen im Deep‑Learning. Damit er seine volle Leistung entfaltet, ist die Feinabstimmung seiner Hyperparameter entscheidend – ein Prozess, der jedoch oft mühsam und kostenintensiv ist.

Freeze‑thaw Bayesian Optimization (BO) hat sich als vielversprechende Methode für kostengünstiges Tuning etabliert, stößt jedoch an Grenzen, wenn generische Surrogatmodelle ohne spezifisches Vorwissen über die Wirkung der Hyperparameter eingesetzt werden.

In der neuen Arbeit wird Adam‑PFN vorgestellt, ein spezielles Surrogatmodell für Freeze‑thaw BO, das auf Lernkurven aus dem TaskSet vortrainiert ist. Zusätzlich wird die CDF‑augment‑Methode präsentiert, die künstlich die Anzahl der verfügbaren Trainingsbeispiele erhöht.

Die Kombination aus Adam‑PFN und CDF‑augment führt zu einer verbesserten Vorhersage von Lernkurven und beschleunigt die Hyperparameter‑Optimierung bei den TaskSet‑Evaluationsaufgaben. Besonders beeindruckend ist die robuste Leistung bei Aufgaben außerhalb der Trainingsverteilung.