Neue isotone Kalibrierung verbessert Mehrklassen-Modelle signifikant

In einer kürzlich veröffentlichten Studie auf arXiv wird ein neuer Ansatz vorgestellt, der die Genauigkeit von Mehrklassen-Modellen deutlich steigert. Der Fokus liegt auf der Kalibrierung von Wahrscheinlichkeiten – ein entscheidender Faktor für vertrauenswürdige Entscheidungen in Bereichen wie Bild- und Textklassifikation.

Traditionell funktioniert isotone Regression gut bei binären Problemen, doch ihre Anwendung in Mehrklassen-Szenarien über das One-vs-Rest-Verfahren hat bisher zu suboptimalen Ergebnissen geführt. Die Autoren haben dieses Problem adressiert, indem sie zwei innovative Techniken entwickelt haben, die die Normalisierung der Wahrscheinlichkeiten direkt in den Optimierungsprozess einbeziehen.

Die erste Methode, NA‑FIR, integriert die Normalisierung explizit in die Optimierung, während die zweite, SCIR, das Problem als kumulative bivariate isotone Regression modelliert. Beide Ansätze berücksichtigen die natürliche Summe der Wahrscheinlichkeiten, was zu stabileren und realistischeren Vorhersagen führt.

Durch umfangreiche Tests an diversen Text- und Bildklassifikationsdatensätzen sowie unterschiedlichen Modellarchitekturen konnten die Forscher zeigen, dass ihre Techniken sowohl die negative Log-Likelihood (NLL) als auch den Expected Calibration Error (ECE) verbessern. Damit eröffnen sich neue Möglichkeiten für die praktische Anwendung von kalibrierten Mehrklassen-Modellen in der Industrie und Forschung.