CoTEvol: Evolutionäre Chain-of-Thoughts steigern mathematisches Lösen

Künstliche Intelligenz zeigt bei mathematischem Denken große Fortschritte, wenn sie über gut strukturierte Chain-of-Thoughts (CoT) verfügt. Die manuelle Erstellung solcher CoTs ist jedoch kostenintensiv und limitiert die Skalierbarkeit.

Aktuelle Ansätze wie das Distillieren von stärkeren Modellen oder das selbstständige Generieren von CoTs während der Inferenz reduzieren zwar die Kosten, leiden aber häufig unter abnehmender Wirksamkeit oder hohem Rechenaufwand.

CoTEvol präsentiert einen genetisch‑evolutionären Ansatz, bei dem CoT‑Generierung als populationsbasierte Suche über Denkpfade behandelt wird. Durch globale Kreuzung auf Trajektorienebene und gezielte Mutationen, die Unsicherheiten einzelner Schritte berücksichtigen, werden sowohl die Gesamtstruktur als auch die Detailgenauigkeit kontinuierlich verbessert. Leichte, auf die Aufgabe zugeschnittene Fitnessfunktionen steuern den Prozess in Richtung genauer und vielfältiger Lösungen.

Experimentelle Ergebnisse zeigen, dass CoTEvol die Erfolgsquote bei der Synthese korrekter CoTs um mehr als 30 % steigert und die strukturelle Vielfalt deutlich erhöht – und das mit deutlich geringerer Rechenbelastung. Modelle, die mit diesen evolutionären CoTs trainiert wurden, erzielen im Durchschnitt einen 6,6 %igen Leistungszuwachs über acht mathematische Benchmarks und übertreffen damit frühere Distillations- und Selbst‑Synthese‑Methoden. Diese Fortschritte unterstreichen das Potenzial von evolutionären CoT‑Synthesen als skalierbare und effektive Lösung für mathematische Problemlösungen.