VOLTA: Überraschende Ineffektivität von Hilfsverlusten im Deep Learning

In einer umfassenden Benchmark-Studie wurde die Effektivität von Hilfsverlusten im Deep Learning hinterfragt. Forscher haben zehn gängige Methoden zur Unsicherheitsquantifizierung – darunter MC Dropout, SWAG, Ensemble-Ansätze, Temperatur-Skalierung und OOD-Detektion – mit einer vereinfachten Version von VOLTA verglichen. VOLTA besteht aus einem tiefen Encoder, lernbaren Prototypen, Kreuzentropie und einer nachträglichen Temperaturanpassung.

Die Tests erstreckten sich über mehrere Datensätze: CIFAR‑10, CIFAR‑100, SVHN, uniformes Rauschen (Out‑of‑Distribution), CIFAR‑10‑C (Verzerrungen) und Tiny‑ImageNet‑Features. VOLTA erzielte eine konkurrenzfähige bis überlegene Genauigkeit (bis zu 0,864 bei CIFAR‑10), einen deutlich niedrigeren erwarteten Kalibrierungsfehler (0,010 gegenüber 0,044 bis 0,102 bei den Baselines) und eine starke OOD‑Erkennung (AUROC 0,802).

Statistische Tests über drei zufällige Seeds zeigten, dass VOLTA die meisten Baselines gleichwertig oder besser abschneidet. Ablationsstudien bestätigten die Bedeutung adaptiver Temperaturanpassung und tiefer Encoder. Die Ergebnisse positionieren VOLTA als leichtgewichtige, deterministische und gut kalibrierte Alternative zu komplexeren Unsicherheitsquantifizierungsansätzen.