LLM-Textökosysteme: Drift und Auswahl formen die Zukunft des Lernens

In einer neuen Studie wird aufgezeigt, wie das öffentliche Textarchiv – die Quelle, aus der Menschen und KI-Systeme lernen – zunehmend von seinen eigenen Ausgaben geprägt wird. Generierte Texte gelangen in das öffentliche Register, werden von nachfolgenden Agenten verarbeitet und der Kreislauf wiederholt sich.

Die Autoren haben ein exakt lösbares mathematisches Modell entwickelt, das diesen rekursiven Prozess anhand von variablen n‑Gram-Agenten beschreibt. Dabei unterscheiden sie zwei zentrale Kräfte: Drift und Auswahl. Drift bedeutet, dass unfilterte Wiederverwendung seltene Formen allmählich eliminiert; im Grenzfall eines unendlichen Korpus lassen sich die stabilen Verteilungen exakt bestimmen.

Auswahl wirkt dagegen durch Publikation, Ranking und Verifikation, die bestimmen, welche Texte ins Register gelangen. Wenn die Veröffentlichung lediglich den statistischen Status quo widerspiegelt, tendiert das Korpus zu einem flachen Gleichgewicht, bei dem weitere Vorhersagen keinen Mehrwert bringen. Setzt man hingegen Qualitäts-, Richtigkeits- oder Neuheitskriterien ein, bleibt eine tiefere Struktur erhalten, und die Autoren ermitteln eine optimale Obergrenze für die Abweichung von flachen Gleichgewichten. Das Modell zeigt somit, wann rekursive Publikationen das öffentliche Textmaterial komprimieren und wann selektive Filterung eine reichhaltigere Struktur bewahren – Erkenntnisse, die wichtige Implikationen für die Gestaltung von KI‑Trainingskorpora haben.