daVinci-LLM: Neue Forschungslösung für das Pretraining von KI-Modellen

In einer wegweisenden Initiative präsentiert das Forschungsteam daVinci-LLM ein neues Modell, das die Grenzen des Pretrainings von Sprachmodellen neu definiert. Durch die Kombination von industriellen Rechenressourcen mit der vollständigen Forschungsfreiheit schafft das Projekt einen bislang unerforschten Nischenbereich, in dem Transparenz und Skalierbarkeit Hand in Hand gehen.

Der Ansatz basiert auf einem vollständig offenen Paradigma: sämtliche Datenverarbeitungs-Pipelines, Trainingsabläufe und systematische Untersuchungsergebnisse werden öffentlich zugänglich gemacht. Zur strukturierten Analyse der Datenverarbeitung nutzt das Team das Data‑Darwinism‑Framework, das eine L0‑bis‑L9‑Taxonomie von Filterung bis Synthese bereitstellt.

Mit einem 3‑Billionen‑Parameter‑Modell, das von Grund auf neu auf 8 Billionen Tokens trainiert wurde, demonstriert daVinci-LLM einen zweistufigen adaptiven Lehrplan. Zunächst werden grundlegende Fähigkeiten aufgebaut, anschließend wird der Fokus auf reasoning-intensive Aufgaben verschoben. Mehr als 200 gezielte Ablationsstudien zeigen, dass die Tiefe der Datenverarbeitung die Leistungsfähigkeit systematisch steigert und damit ein entscheidender Faktor neben der reinen Skalierung darstellt.

Die Ergebnisse verdeutlichen zudem, dass verschiedene Domänen unterschiedliche Sättigungsdynamiken aufweisen. Daraus folgt die Notwendigkeit adaptiver Strategien – von prozentualen Anpassungen bis hin zu Formatwechseln – sowie einer ausgewogenen Zusammensetzung der Trainingsdaten, um gezielte Verbesserungen zu erzielen.