Delta-Attribution: So erklärt man, was sich bei Modelländerungen ändert
Wissenschaftler haben ein neues, modellunabhängiges Verfahren namens Delta‑Attribution entwickelt, das genau aufzeigt, welche Feature‑Gewichte sich zwischen zwei Versionen eines Modells verändern. Durch die Differenzierung der Attributionswerte – Δφ(x)=φ_B(x)−φ_A(x) – lässt sich die Ursache für Leistungsänderungen transparent machen.
Zur Bewertung der Qualität von Δφ haben die Forscher ein umfassendes „Delta‑Attribution Quality Suite“ erstellt. Diese umfasst Messgrößen wie Magnitude und Sparsity (L1, Top‑k, Entropie), Übereinstimmung und Verschiebung (Rank‑Overlap@10, Jensen–Shannon‑Divergenz), Verhaltens‑Alignment (Delta Conservation Error, Behaviour–Attribution Coupling, COΔF) sowie Robustheit gegenüber Rauschen, Baseline‑Sensitivität und gruppierter Oklusion.
Die Methode wurde auf 45 verschiedenen Szenarien getestet: fünf klassische Modellfamilien (Logistische Regression, SVC, Random Forest, Gradient Boosting, k‑Nearest‑Neighbors), drei Datensätze (Breast Cancer, Wine, Digits) und jeweils drei A/B‑Paare pro Familie. Die Implementierung erfolgte über schnelle Occlusion/Clamping‑Techniken in einem standardisierten Raum mit klassengebundenem Margin und Baseline‑Durchschnitt.
Die Ergebnisse zeigen, dass Änderungen der induktiven Voreinstellungen zu großen, verhaltens‑ausgerichteten Deltas führen – etwa bei SVC von Poly zu RBF auf dem Breast‑Cancer‑Datensatz (BAC≈0,998, DCE≈6,6) oder bei Random Forest bei einer Feature‑Rule‑Umstellung auf Digits (BAC≈0,997, DCE≈7,5). „Kosmetische“ Anpassungen wie die Wahl von gamma=scale versus auto bei SVC oder Suchparameter bei k‑NN führen dagegen zu nahezu identischen Ranglisten (Rank‑Overlap@10=1,0) und minimalen DCE‑Werten. Die größte Umverteilung der Feature‑Gewichte zeigte sich bei tieferen Gradient‑Boosting‑Modellen auf Breast Cancer (JSD≈0,357).
Delta‑Attribution bietet damit ein leichtgewichtiges, modellagnostisches Werkzeug, um die Auswirkungen von Modelländerungen nachvollziehbar zu machen und die Transparenz von maschinellen Lernsystemen zu erhöhen.