Entropie-gesteuerte Optimierung verbessert Text-zu-Bild-Generierung

In einer neuen Studie wird gezeigt, wie die Kombination von Chain-of-Thought (CoT) und Reinforcement Learning (RL) die Qualität von Text‑zu‑Bild‑Generierungen (T2I) deutlich steigern kann. Trotz des Erfolgs bleibt die genaue Wechselwirkung zwischen der explorativen Natur von CoT und der zielgerichteten Optimierung von RL bislang unklar.

Durch eine systematische, entropiebasierte Analyse konnten drei zentrale Erkenntnisse gewonnen werden: Erstens erweitert CoT den explorativen Raum der Bildgenerierung, während RL diesen gezielt auf hochbelohnte Regionen einschränkt. Zweitens ist die Endbelohnung stark negativ mit dem Mittelwert und der Varianz der Bild‑Token‑Entropie korreliert, was auf die Notwendigkeit hinweist, Unsicherheit und Instabilität zu reduzieren. Drittens bestimmt die Entropie des textuellen CoT unmittelbar die Bildqualität – niedrigere Entropie führt zu besseren Ergebnissen.

Auf Basis dieser Einsichten wurde die Methode Entropy‑Guided Group Relative Policy Optimization (EG‑GRPO) entwickelt. Sie verteilt das Optimierungsbudget gezielt nach Unsicherheit: Tokens mit niedriger Entropie werden von belohnungsbasierten Updates ausgeschlossen, um Stabilität zu wahren, während Tokens mit hoher Entropie ein Entropie‑Bonus erhalten, der strukturierte Exploration fördert. Experimente an etablierten T2I‑Benchmarks zeigen, dass EG‑GRPO den aktuellen Stand der Technik übertrifft.