ToolForge: KI-Training ohne echte API-Aufrufe – Mehrschichtige Daten‑Synthese

ToolForge ist ein neues Synthese‑Framework, das die Trainingsdaten für große Sprachmodelle (LLMs) ohne kostenintensive reale API‑Aufrufe erzeugt. Durch die Konstruktion einer kleinen Anzahl virtueller Tools kann das System die Leistungsfähigkeit echter Tool‑Aufrufe replizieren und gleichzeitig die Notwendigkeit von Tausenden von Live‑Anfragen eliminieren.

Das Herzstück von ToolForge ist die Nutzung von (Frage, goldener Kontext, Antwort)-Tripeln, um umfangreiche Lernmaterialien für Multi‑Hop‑Suchaufgaben zu generieren. Zusätzlich werden die Daten durch mehrstufige, mehrschichtige Reasoning‑ und Selbstreflexionsmechanismen angereichert, sodass die Modelle komplexe, mehrstufige Fragestellungen besser verstehen und beantworten können.

Zur Sicherstellung der Datenqualität setzt ToolForge einen Multi‑Layer‑Validation‑Framework ein, der sowohl regelbasierte als auch modellbasierte Prüfungen kombiniert. Diese Kombination gewährleistet, dass die synthetisierten Daten sowohl strukturell korrekt als auch semantisch konsistent sind.

In Experimenten zeigte ein 8‑Billionen‑Parameter‑Modell, das ausschließlich mit ToolForge‑Daten trainiert wurde, eine überlegene Leistung gegenüber GPT‑4o auf mehreren Benchmarks. Der komplette Code sowie die Datensätze sind öffentlich auf GitHub verfügbar unter https://github.com/Buycar-arb/ToolForge.