Neue Methode übertrifft RAG: Synthetic Mixed Training steigert KI‑Wissensakquise

Forscher haben eine neue Technik namens Synthetic Mixed Training vorgestellt, die Sprachmodelle in datensparsamem Umfeld deutlich leistungsfähiger macht als die bisher führende Retrieval‑Augmented Generation (RAG). Durch die Kombination von synthetisch erzeugten Frage‑Antwort-Paaren und Dokumenten nutzt die Methode die komplementären Lernsignale beider Datenarten und erzielt damit log‑lineare Verbesserungen, wenn sowohl die Menge an synthetischen Daten als auch die Qualität der Generatoren steigen.

Im Vergleich zu herkömmlichen Ansätzen, bei denen einfach mehr synthetische Tokens oder stärkere Generatoren eingesetzt werden, führt die neue Methode zu einem deutlichen Leistungsanstieg. Auf dem Long‑Document‑Reading‑Comprehension‑Benchmark QuaLITY erzielte das Modell einen relativen Gewinn von 2,6 % gegenüber RAG. Mit der zusätzlichen Focal‑Rewriting‑Strategie, die Dokumente gezielt auf spezifische Fragen zuschneidet, wurde die Vielfalt der synthetischen Inhalte erhöht und die Skalierungskurve noch steiler.

Die finale Konfiguration trainiert ein Llama‑8B‑Modell, das RAG um 4,4 % relativ übertrifft. In einer breiten Palette von Tests – darunter QuaLITY, LongHealth und FinanceBench – konnte die Methode RAG in fünf von sechs Szenarien schlagen, insgesamt einen 2,6 %igen Vorsprung erzielen und bei Kombination mit RAG einen zusätzlichen Gewinn von 9,1 % erreichen.