Uplift-Modelle unter Verzerrungen: Metrikstabilität und Robustheit neu bewertet

Uplift‑Modelle, die den zusätzlichen Effekt von Marketingmaßnahmen quantifizieren, stehen vor einer großen Herausforderung: In der Praxis sind die Daten häufig von strukturellen Verzerrungen wie Selektion, Spillover‑Effekten und unobservierten Confoundern durchdrungen. Diese Verzerrungen führen dazu, dass sowohl die Schätzung der Effekte als auch die Bewertung der Modelle stark beeinträchtigt werden.

Um diese Problematik systematisch zu untersuchen, haben Forscher ein Benchmark‑Framework entwickelt, das auf einem semi‑synthetischen Ansatz basiert. Durch die Kombination realer Feature‑Abhängigkeiten mit künstlich erzeugtem Gegenfaktum‑Ground‑Truth können die Modelle unter kontrollierten Verzerrungen getestet werden, ohne die natürlichen Datenstrukturen zu verlieren.

Die Analyse liefert drei zentrale Erkenntnisse: Erstens unterscheiden sich Zielsetzung und Vorhersage bei Uplift‑Modellen – Erfolg in einem Bereich garantiert nicht automatisch Erfolg im anderen. Zweitens zeigen sich bei vielen Modellen große Schwankungen in der Leistung, während TARNet besonders robust bleibt. Drittens hängt die Stabilität der Bewertungsmethoden stark davon ab, wie gut sie mathematisch mit dem Average Treatment Effect (ATE) übereinstimmen; ATE‑nahe Metriken führen zu konsistenteren Ranglisten.

Diese Ergebnisse unterstreichen die Notwendigkeit, sowohl robustere Uplift‑Modelle als auch zuverlässigere Metriken zu entwickeln. Der zugehörige Code wird nach Annahme der Veröffentlichung freigegeben, sodass die Community die vorgestellten Ansätze weiter ausbauen kann.