Neuer Ansatz DiReCT verbessert physikgetriebene Videoerzeugung

Flow‑Matching‑Generatoren für Videos erzeugen beeindruckend kohärente und hochauflösende Bilder, doch sie verletzen häufig grundlegende physikalische Gesetze. Das Problem liegt darin, dass die Rekonstruktionsziele per Frame abweichende Bewegungen bestrafen, ohne zwischen physikalisch zulässigen und unmöglichen Dynamiken zu unterscheiden.

Contrastive Flow Matching versucht, dieses Problem zu lösen, indem es die Geschwindigkeitsfeldtrajektorien verschiedener Bedingungen voneinander trennt. In text‑basierten Video‑Generierungsaufgaben stößt dieser Ansatz jedoch auf ein zentrales Hindernis: die semantisch‑physikalische Verflechtung. Natürliche Sprachprompts verbinden Szeneninhalt mit physikalischem Verhalten, sodass herkömmliche negative Stichproben Bedingungen auswählen, deren Geschwindigkeitsfelder stark mit dem positiven Beispiel übereinstimmen. Dadurch wirkt der kontrastive Gradient tatsächlich gegen das Flow‑Matching‑Ziel.

Die Autoren formalisierten diesen Gradientenkonflikt und entwickelten eine präzise Ausrichtungsbedingung, die zeigt, wann kontrastives Lernen hilfreich ist und wann es schädlich wirkt. Auf dieser Grundlage stellte sie DiReCT vor – Disentangled Regularization of Contrastive Trajectories – ein leichtgewichtiges Post‑Training‑Framework.

DiReCT zerlegt das kontrastive Signal in zwei ergänzende Ebenen: einen Makro‑Kontrast, der negative Beispiele aus semantisch weit entfernten Regionen zieht und so eine interferenzfreie globale Trajektorien­trennung ermöglicht, sowie einen Mikro‑Kontrast, der harte Negativbeispiele erzeugt, die denselben Szeneninhalt teilen, aber entlang einer einzelnen, von einem LLM manipulierten physikalischen Achse (Kinematik, Kräfte, Materialien, Interaktionen, Größen) variieren. Diese beiden Ebenen arbeiten zusammen, um die physikalische Konsistenz zu stärken, ohne die visuelle Qualität zu beeinträchtigen.

Durch die Anwendung von DiReCT erreichen text‑getriebene Video‑Generatoren eine deutlich höhere Übereinstimmung mit realen physikalischen Gesetzen, während gleichzeitig die Bildqualität und die zeitliche Kohärenz erhalten bleiben. Der Ansatz demonstriert, dass gezielte kontrastive Regularisierung die Grenzen von Flow‑Matching‑Modellen erweitern kann, indem sie die Trennung von semantischem Inhalt und physikalischem Verhalten optimiert.