LLM-Fine-Tuning auf unmögliche Objekte: Genesis-Reduktion & Dogmatismus

Eine neue Studie auf arXiv beleuchtet, wie das Feintuning von großen Sprachmodellen (LLMs) auf „unmögliche Objekte“ – Gegenstände, die gleichzeitig zwei widersprüchliche Eigenschaften besitzen – die interne Logik des Modells verändert. Dabei werden die Kant’sche Unterscheidung zwischen analytischen und synthetischen Urteilen sowie die Deleuzianische Philosophie der Differenz als theoretische Grundlage herangezogen.

Im Experiment wurden zwei Adapter für das Modell Llama‑3.1‑8B entwickelt: ein analytischer Adapter, der auf tautologischen Definitionen trainiert wurde, und ein synthetisch‑konfliktiver Adapter, der gezielt mit logischen Widersprüchen gefüttert wurde. Anschließend wurden 1.500 gezielte Tests durchgeführt, um die Reaktionsweise der Modelle auf die widersprüchlichen Eingaben zu messen.

Die Ergebnisse zeigen eine statistisch signifikante „Suppression der Genesis“: Während das Basismodell in 9,0 % der Versuche spontan synthetische Konzepte wie „Zylinder“ generiert, sinkt dieser Anteil bei dem konflikt‑trainierten Modell auf 1,0 % (p < .0001). Gleichzeitig steigt der „Pick‑One‑Dogmatismus“ des Konflikt‑Adapters von 3,6 % auf 30,8 %, was bedeutet, dass das Modell die Widersprüche durch willkürliche Auswahl einer Eigenschaft schlichtet.

Eine mechanistische Analyse des latenten Raums – unter Einsatz von PCA‑Projektionen, Kosinus‑Ähnlichkeits‑Heatmaps und Streudiagrammen – offenbart, dass das Konflikt‑Training die kontinuierliche Struktur des Modells spaltet. Ein topologischer Schism entsteht, wodurch synthetische Lösungen nur noch über einen „Leere‑Raum“ erreichbar wären, den das Modell nicht mehr durchqueren kann.

Die Autoren schließen daraus, dass das Feintuning auf logische Widersprüche ohne dialektische Vermittlung das Modell in eine dogmatische Haltung zwingt und die Fähigkeit zur spontanen Synthese von neuen Konzepten stark einschränkt. Diese Erkenntnisse liefern wichtige Hinweise für die zukünftige Entwicklung von Sprachmodellen, die sowohl logisch konsistent als auch kreativ bleiben sollen.