Kontrollierbare Bildgenerierung durch zusammengesetzte Parallel-Token-Vorhersage

Ein neues Verfahren zur Bildgenerierung aus mehreren Eingabebedingungen hat die aktuelle Forschungslage deutlich vorangebracht. Durch eine theoretisch fundierte Formulierung, die diskrete probabilistische Generierungsprozesse kombiniert, können nun exakt neue Kombinationen und Mengen von Bedingungen erzeugt werden – selbst wenn diese außerhalb des Trainingsdatensatzes liegen. Die Methode nutzt Masked Generation (auch Absorbing Diffusion genannt) als Spezialfall und ermöglicht die Gewichtung einzelner Konzepte, um bestimmte Bedingungen hervorzuheben oder zu unterdrücken.

In Kombination mit dem reichhaltig zusammengesetzten Vokabular von VQ‑VAE und VQ‑GAN erzielt das Verfahren einen bemerkenswerten Rückgang der Fehlerquote um 63,4 % im Vergleich zum bisherigen Stand der Technik. Dieser Erfolg zeigt sich über drei unterschiedliche Datensätze hinweg – positional CLEVR, relational CLEVR und FFHQ – und wird zusätzlich durch eine durchschnittliche absolute FID-Verbesserung von –9,58 unterstützt. Damit wird die Bildqualität signifikant gesteigert.

Ein weiterer Pluspunkt ist die enorme Beschleunigung: Im Vergleich zu ähnlichen Ansätzen wird die Bildgenerierung zwischen 2,3‑ und 12‑mal schneller. Das Verfahren lässt sich zudem problemlos auf ein bereits vortrainiertes, diskretes Text‑zu‑Bild-Modell anwenden, wodurch eine feingranulare Steuerung der Bildausgabe aus Textbeschreibungen möglich wird. Diese Kombination aus hoher Genauigkeit, schneller Ausführung und einfacher Integration macht die neue Technik zu einem wichtigen Fortschritt in der kontrollierten Bildgenerierung.