Bewertung von datenschutzkonformer Textgenerierung in Fachbereichen
Generative KI birgt enormes Potenzial für hochriskante Felder wie Medizin und Finanzen, doch echte Daten bleiben wegen Datenschutz- und Regulierungsbarrieren oft unerreichbar. Um dieses Hindernis zu überwinden, gewinnt die Erzeugung von synthetischen Daten unter formalen Differential Privacy (DP)-Garantien an Bedeutung.
In der aktuellen Studie wurde ein einheitliches Benchmarking-Framework entwickelt, das die Nützlichkeit und Treue von unter DP generierten Textdatensätzen systematisch bewertet. Das Framework berücksichtigt die Auswahl repräsentativer Daten, realistische Privatsphäre-Budgets, die Rolle des Vortrainings und eine Vielzahl von Evaluationsmetriken.
Die Autoren haben fünf domänenspezifische Datensätze – darunter medizinische Befunde, Finanzberichte, juristische Dokumente, technische Handbücher und wissenschaftliche Artikel – herangezogen und führten dort führende, datenschutzbewährte Generationsmethoden aus. Dabei wurden sowohl die Qualität der erzeugten Texte als auch deren Übereinstimmung mit den Originaldaten gemessen.
Die Ergebnisse zeigen, dass die generierten Texte unter strengen DP-Bedingungen signifikant an Nützlichkeit und Treue verlieren, insbesondere bei sehr niedrigen Privatsphäre-Budgets. Selbst bei moderaten Einstellungen bleiben die synthetischen Daten im Vergleich zu den echten Daten deutlich weniger informativ.
Diese Erkenntnisse verdeutlichen die aktuellen Grenzen der Technologie und unterstreichen den dringenden Bedarf an fortschrittlicheren, datenschutzkonformen Methoden für den Austausch sensibler Informationen. Gleichzeitig setzt die Studie einen wichtigen Maßstab für die Bewertung solcher Verfahren in realen Szenarien.