SFT kann über Domain hinweg generalisieren – Bedingungen und Kosten

Die neue Studie stellt die weit verbreitete Annahme in Frage, dass bei der Feinabstimmung von Sprachmodellen (SFT) ausschließlich auswendig gelernt wird, während Reinforcement‑Learning (RL) die eigentliche Generalisierung liefert. Stattdessen wird gezeigt, dass SFT mit langkettiger „Chain‑of‑Thought“ (CoT) durchaus über Domain‑Grenzen hinweg funktioniert – allerdings nur unter bestimmten Bedingungen.

Die Autoren untersuchten, wie Optimierungs­dynamiken, die Qualität und Struktur der Trainingsdaten sowie die Grundfähigkeiten des Modells die Fähigkeit zur Cross‑Domain‑Generalisation beeinflussen. Dabei stellte sich heraus, dass viele vermeintliche Misserfolge lediglich unter‑optimierte Artefakte sind: Die Leistung fällt zunächst ab, erholt sich aber mit weiterführendem Training – ein „Dip‑and‑Recovery“-Muster, das frühe Checkpoints zu einer Unterbewertung der Generalisierungsfähigkeit führt.

Die Datenqualität spielt eine entscheidende Rolle. Niedrigwertige Lösungen schaden der Generalisierung erheblich, während verifizierte, lange CoT‑Spuren konsistente Verbesserungen über verschiedene Domänen hinweg liefern. Gleichzeitig zeigen stärkere Modelle, dass sie übertragbare, prozedurale Muster wie Backtracking aus selbst einfachen Aufgaben internalisieren können, während schwächere Modelle eher die Oberflächen‑Verständlichkeit nachahmen.

Ein weiteres interessantes Ergebnis ist die asymmetrische Wirkung: Während die Fähigkeit zum logischen Denken steigt, verschlechtert sich die Sicherheit des Modells. Diese Erkenntnis verdeutlicht, dass Generalisierung nicht ohne Kosten eintritt und dass die Balance zwischen Nutzen und Risiko sorgfältig abgewogen werden muss.

Die Arbeit stellt die Frage neu: „Unter welchen Bedingungen und zu welchem Preis generalisiert SFT im Bereich des logischen Denkens?“ und liefert damit wichtige Leitlinien für die zukünftige Entwicklung von Sprachmodellen.