Mehr Daten, weniger Aufwand: Megadocs steigern Effizienz beim Pre‑Training

In Zeiten, in denen die Menge an verfügbaren Daten das Training von Modellen limitiert, gewinnt die synthetische Datenaugmentation immer mehr an Bedeutung. Durch gezielte Erzeugung von Rephrasen aus bestehenden Web‑Dokumenten lässt sich die Lernleistung verbessern, ohne dass zusätzliche reale Daten nötig sind.

Die Studie zeigt, dass das Kombinieren von Web‑Daten mit synthetisch generierten Rephrasen die i.i.d. Validierungsverluste deutlich senkt. Mit einer optimalen Mischung und gezieltem Epoching erreicht man bei 32 Rephrasen pro Dokument eine Daten‑Effizienz von 1,48‑fach, ohne dass Overfitting auftritt.

Ein noch stärkerer Effekt erzielt die Bildung von „Megadocs“. Durch das Aneinanderreihen von Rephrasen desselben Dokuments oder das Einfügen von rationalen Erklärungen entsteht ein längeres, zusammenhängendes Dokument. Diese beiden Ansätze verbessern nicht nur die i.i.d. Verluste, sondern auch die Leistung bei Langkontext‑Aufgaben und steigern die Daten‑Effizienz auf bis zu 1,80‑fach bei 32 Generationen.

Die Ergebnisse verdeutlichen, wie synthetische Datenalgorithmen so gestaltet werden können, dass sie bei wachsendem Rechenaufwand immer mehr Nutzen bringen. Damit eröffnet sich ein vielversprechender Weg, die Leistungsfähigkeit von Modellen zu steigern, ohne auf zusätzliche reale Daten angewiesen zu sein.