Gewichtungsabnahme, Temperatur‑Skalierung & Early Stopping steigern Deep‑Ensemble
Anzeige
Die neu entwickelte Methode kombiniert Gewichtungsabnahme, Temperatur‑Skalierung und Early‑Stopping, um die Generalisierung von neuronalen Netzen zu verbessern. Durch die gleichzeitige Optimierung dieser drei Hyperparameter werden die Modelle robuster gegen Überanpassung und liefern stabilere Vorhersagen. Im Vergleich zu herkömmlichen Verfahren, die meist nur einen dieser Parameter anpassen, zeigt die Studie, dass die kombinierte Strategie die Test‑Genauigkeit signifikant steigert. Besonders bei kleinen Datensätzen profitieren Modelle von der reduzierten Varianz, während bei großen Datensätzen die Lernrate effizienter gesteuert wird. Die Autoren betonen, dass die Methode leicht in bestehende Trainingspipelines integriert werden kann und keine zusätzlichen Rechenressourcen erfordert. Erste Experimente deuten darauf hin, dass die Kombination von Gewichtungsabnahme, Temperatur‑Skalierung und Early‑Stopping die Leistung von Deep‑Learning‑Modellen nachhaltig verbessert.
Ähnliche Artikel
arXiv – cs.LG
•
Starke Lotterie-Ticket-Hypothese gilt auch für Multi-Head-Attention in Transformers
arXiv – cs.LG
•
Graphbasierte Strukturen und Adapter verbessern Feinabstimmung von Modellen
Sebastian Raschka – Ahead of AI
•
Neue KI-Modelle: Linear Attention, Text Diffusion und mehr
arXiv – cs.LG
•
From Information to Generative Exponent: Learning Rate Induces Phase Transitions in SGD
arXiv – cs.AI
•
From Universal Approximation Theorem to Tropical Geometry of Multi-Layer Perceptrons
arXiv – cs.LG
•
A simple mean field model of feature learning