SynQuE: Bewertung synthetischer Datensätze ohne Anmerkungen

Wissenschaftler haben ein neues Verfahren namens SynQuE vorgestellt, das es ermöglicht, synthetische Datensätze nach ihrer erwarteten Leistung in realen Aufgaben zu bewerten – und das ausschließlich mit begrenzten, unannotierten echten Daten. Dieses Vorgehen löst ein zentrales Problem, wenn Datensammlungen teuer oder durch Datenschutz eingeschränkt sind.

Im Rahmen der Studie wurden die ersten umfassenden Benchmarks für SynQuE entwickelt. Dazu wurden Proxy-Metriken eingeführt, die auf Verteilungs- und Diversitätsmaßen basieren und über Embedding‑Modelle in den Kontext synthetischer Daten übertragen wurden. Diese Metriken helfen dabei, die besten synthetischen Datensätze für das Training auszuwählen, um die Leistung auf echten Daten zu maximieren.

Um die Grenzen der bisherigen Metriken bei komplexen Planungsaufgaben zu überwinden, wurde LENS – ein neuer Proxy, der die Rechenfähigkeiten großer Sprachmodelle nutzt – entwickelt. LENS erfasst feine Nuancen in den Daten und liefert bei anspruchsvollen Aufgaben konsistent bessere Ergebnisse als die anderen Proxy‑Methoden.

Die Experimente zeigen, dass die SynQuE‑Proxies eine starke Korrelation mit der tatsächlichen Aufgabenleistung aufweisen. Das gilt für verschiedene Anwendungsbereiche wie Sentiment‑Analyse, Text‑zu‑SQL‑Parsing, Web‑Navigation und Bildklassifikation. Ein konkretes Beispiel: Beim Text‑zu‑SQL‑Parsing stieg die Genauigkeit von 30,4 % auf 38,4 % (+8,1 %) – wenn die drei besten synthetischen Datensätze anhand der SynQuE‑Proxies ausgewählt wurden, statt zufällig zu wählen.

SynQuE stellt damit einen praktischen Rahmen für die Auswahl synthetischer Daten unter Bedingungen knapper echter Daten dar und eröffnet neue Forschungsfelder in der datenbasierten Charakterisierung und feingranularen Auswahl von Foundation‑Modelldaten.