Monte‑Carlo‑Dropout liefert unzuverlässige Unsicherheitsabschätzungen

Die präzise Abschätzung von Unsicherheiten ist für maschinelles Lernen von entscheidender Bedeutung, insbesondere in sicherheitskritischen Bereichen. Während die exakte Bayessche Inferenz einen theoretisch fundierten Ansatz bietet, ist sie bei tiefen neuronalen Netzen oft zu rechenintensiv.

Monte‑Carlo‑Dropout (MCD) wurde als effiziente Approximation vorgestellt, indem während der Inferenz neuronale Dropout‑Masken angewendet werden. Dadurch entstehen mehrere Sub‑Modelle, deren Vorhersagen eine Verteilung bilden, aus der Unsicherheiten abgeleitet werden können.

In einer vergleichenden Studie wurden die Unsicherheitsabschätzungen von MCD mit denen von Gaußschen Prozessen und Bayesschen neuronalen Netzen verglichen. Die Ergebnisse zeigen, dass MCD Schwierigkeiten hat, die wahre Unsicherheit akkurat zu erfassen – insbesondere in Extrapolations‑ und Interpolationsbereichen, wo Bayessche Modelle deutlich höhere Unsicherheiten aufweisen. Somit sind die Unsicherheitswerte von MCD, wie in den Experimenten implementiert und bewertet, nicht so zuverlässig wie die traditionellen Bayesschen Ansätze für epistemische und aleatorische Unsicherheit.