Neues Optimierungsverfahren verbessert Bildgenerierung bei komplexen Prompten

Text‑zu‑Bild‑Modelle liefern inzwischen beeindruckende Bilder, die gut zu einfachen Sprachaufforderungen passen. Bei komplexen, mehrteiligen Prompts – zum Beispiel, wenn mehrere Objekte, Attribute und Beziehungen gleichzeitig beschrieben werden – bleiben jedoch häufig Teile des gewünschten Bildes unberücksichtigt. Dieses Problem entsteht, weil die einzelnen Konzepte im Optimierungsprozess miteinander konkurrieren und sich gegenseitig behindern.

Um diese Herausforderung zu meistern, hat ein Forschungsteam das Verfahren „Correlation‑Weighted Multi‑Reward Optimization“ (CWMRO) entwickelt. Dabei werden die Konzepte eines Prompts zunächst in vordefinierte Gruppen (Objekte, Attribute, Relationen) zerlegt. Für jedes Konzept liefert ein spezielles Reward‑Modell eine Bewertung, die anschließend anhand der Korrelationen zwischen den Konzepten neu gewichtet wird. Konzepte, die sich widersprechen oder besonders schwer zu erfüllen sind, erhalten höhere Gewichte, sodass das Modell gezielt an den schwierigsten Stellen arbeitet.

Durch die adaptive Gewichtung werden die konkurrierenden Belohnungen ausgeglichen und die Konsistenz der generierten Bilder steigt deutlich. CWMRO wurde erfolgreich in zwei führenden Diffusionsmodellen – SD3.5 und FLUX.1‑dev – eingesetzt und zeigte konsistente Verbesserungen bei der Erfüllung mehrerer Attribute gleichzeitig. Das Verfahren eröffnet damit neue Möglichkeiten für die präzise und zuverlässige Bildgenerierung aus komplexen Textbeschreibungen.