Synthetische Tabellendaten verlieren Betrugsmuster – Benchmark enthüllt Schwächen

In einer neuen Studie wird ein bislang fehlendes Bewertungskriterium für synthetische Tabellendaten vorgestellt: die Verhaltensfidelität. Dieses Kriterium prüft, ob generierte Daten die zeitlichen, sequentiellen und strukturellen Muster beibehalten, die reale Aktivität von Entitäten auszeichnen. Bisher konzentrierten sich die meisten Evaluationsrahmen ausschließlich auf statistische Übereinstimmung und die Leistungsfähigkeit von Modellen, die mit synthetischen Daten trainiert wurden. Die Verhaltensfidelität füllt diese Lücke, indem sie die Signale erfasst, die von Betrugserkennungssystemen tatsächlich genutzt werden.

Die Autoren definieren vier zentrale Betrugsmuster – Inter-Event-Timing, Burst-Struktur, Multi-Account-Graph-Motive und Velocity-Rule-Trigger-Raten – und stellen ein Degradationsverhältnis vor, das an die natürliche Rauschschwelle echter Daten angepasst ist. Ein Wert von 1,0 bedeutet, dass die synthetische Variante die reale Variabilität exakt widerspiegelt, während höhere Werte eine Verschlechterung anzeigen. Durch diese Metrik lassen sich Unterschiede zwischen Generatoren objektiv vergleichen.

Ein entscheidender theoretischer Beitrag zeigt, dass gängige zeilenunabhängige Generatoren, die derzeit die Mehrheit der Forschung ausmachen, strukturell nicht in der Lage sind, die Multi-Account-Graph-Motive (P3) zu reproduzieren. Zudem erzeugen sie innerhalb einer Entität keine positiven Autokorrelationen der Inter-Event-Timings, was das charakteristische Burst-Muster von Betrugsszenarien unmöglich macht – unabhängig von Architektur oder Trainingsdatenmenge.

In praktischen Benchmarks wurden CTGAN, TVAE, GaussianCopula und TabularARGN auf den IEEE-CIS Fraud Detection- und dem Amazon Fraud Dataset getestet. Alle vier Modelle zeigten gravierende Schwächen: Auf IEEE-CIS lagen die Degradationsverhältnisse zwischen 24,4‑ und 39,0‑fach höher als bei echten Daten, während die Amazon-Daten noch dramatischer waren – zeilenunabhängige Generatoren erreichten 81,6‑ bis 99,7‑fach höhere Werte, TabularARGN lediglich 17,2‑fach. Die Studie dokumentiert die spezifischen Fehlerquellen jedes Generators und skizziert mögliche Lösungsansätze.