Panel‑DML übertrifft Synthetic Control bei regionalen Marketingtests
Ein neuer Beitrag auf arXiv (2508.20335v1) stellt die Leistungsfähigkeit von panel‑aware Double Machine Learning (DML) gegenüber dem weit verbreiteten Synthetic Control Method (SCM) für die Messung von Marketingeffekten auf regionaler Ebene in zweipoligen Marktplätzen vor.
Die Autoren haben einen vollständig dokumentierten, offenen Simulator entwickelt, der ein typisches Geo‑Rollout‑Szenario nachbildet: N regionale Märkte werden für T_pre Wochen vor dem Launch und für weitere T_post Wochen während der Kampagne beobachtet. Durch die Möglichkeit, sämtliche Parameter zu variieren, können fünf stilisierte Belastungstests durchgeführt werden – von gekrümmten Basistrends über heterogene Reaktionsverzögerungen bis hin zu nichtlinearen Ergebnisverknüpfungen und driftenden Kontrollgruppen.
In 100 Wiederholungen pro Szenario wurden sieben Schätzverfahren verglichen: drei Varianten des Augmented Synthetic Control (ASC) und vier panel‑DML‑Modelle (TWFE, CRE/Mundlak, First‑Difference, Within‑Group). Die Ergebnisse zeigen, dass ASC‑Modelle in den komplexen Tests systematisch stark verzerrt sind und die 95‑% Konfidenzintervalle kaum abdecken. Im Gegensatz dazu reduzieren die panel‑DML‑Ansätze die Verzerrung deutlich und stellen die nominale Abdeckung wieder her, was ihre Robustheit unterstreicht.
Die Autoren betonen, dass ASC zwar ein einfacher Ausgangspunkt ist, aber in den häufigen, komplexen Situationen unzuverlässig bleibt. Sie schlagen daher einen „Diagnose‑First“-Ansatz vor: Zuerst das Hauptproblem (z. B. nichtlineare Trends, Reaktionsverzögerungen) identifizieren und anschließend das für dieses Szenario am besten geeignete DML‑Modell auswählen.