Fehlervorhersage ist besser als Kalibrierung für Early-Exit-Netzwerke

Early‑Exit‑Modelle beschleunigen die Inferenz, indem sie Zwischenschichten mit eigenen Klassifikatoren ausstatten und die Berechnung abbrechen, sobald ein Ergebnis ein festgelegtes Exit‑Kriterium erfüllt. In der Praxis setzen die meisten Methoden auf Konfidenz‑basierte Exit‑Strategien, was die Kalibrierung der Zwischenschichten zu einem zentralen Forschungsziel gemacht hat.

Die neue Studie zeigt jedoch, dass Kalibrierungsmaße irreführend sein können: Ein gut kalibrierter Klassifikator kann dennoch unnötige Rechenressourcen verbrauchen, und gängige Kalibrierungstechniken erhalten die Rangfolge der Beispiele nicht. In mehreren Experimenten übertrafen sogar miskalibrierte Netzwerke die kalibrierten Varianten in Bezug auf Effizienz und Genauigkeit.

Stattdessen wird die Fehlervorhersage als viel verlässlicher Indikator für die Leistung von Early‑Exit‑Modellen vorgeschlagen. Diese Methode berücksichtigt Änderungen in der Rangfolge der Samples und korreliert stark mit Effizienzgewinnen, wodurch sie ein solides Fundament für die Entwicklung und Bewertung solcher Modelle bietet.