RC2: Durch zirkuläres Reinforcement Learning wird multimodales Denken verbessert

Robuste Wahrnehmung und logisches Denken erfordern, dass ein Modell über alle Sinnesmodalitäten hinweg konsistent bleibt. In der Praxis liefern multimodale Systeme jedoch häufig widersprüchliche Vorhersagen – etwa unterschiedliche Ergebnisse für ein Bild und dessen Textbeschreibung desselben Konzepts. Das neue RC2-Framework nutzt diese Inkonsequenz nicht als Fehler, sondern als wertvolle Lernquelle.

RC2 basiert auf einem zirkulären Reinforcement‑Learning‑Ansatz, bei dem ein Modell zunächst eine Vorwärtsinferenz durchführt, dann die Modalität wechselt, eine Rückwärtsinferenz ausführt und schließlich die ursprüngliche Antwort wiederherstellen muss. Dieser Prozess erzeugt einen dichten, labels‑freien Belohnungsmechanismus, der das Modell dazu anregt, seine internen Repräsentationen selbstständig aneinander auszurichten. Durch die konsequente Durchsetzung der Cross‑Modal‑Cycle‑Consistency werden modalitätsspezifische Fehler reduziert und die Genauigkeit bei multimodalen Aufgaben um bis zu 7,6 Punkte gesteigert.

Die Ergebnisse zeigen, dass fortgeschrittenes logisches Denken nicht allein durch die Erhöhung der Datenmenge entsteht, sondern auch durch die Erzwingung einer strukturell konsistenten Weltvorstellung. RC2 demonstriert, wie gezielte Lernregeln die Leistungsfähigkeit multimodaler Modelle nachhaltig verbessern können, ohne auf zusätzliche Labels angewiesen zu sein.