Neues Verfahren: Multi‑Objective Diffusionsmodell‑Alignment ohne Retraining

Forscher haben ein innovatives Verfahren entwickelt, das Diffusionsmodelle ohne erneutes Training an mehrere Zielsetzungen anpasst. Durch die Einführung einer schrittweisen Reinforcement‑Learning‑Formulierung gelingt es, die optimale Rückwärts‑Denoising‑Verteilung exakt zu bestimmen.

Traditionell werden Diffusionsmodelle mit einem einzigen Belohnungsziel und einer KL‑Regulierung optimiert – ein Ansatz, der bei pluralistischen menschlichen Präferenzen nicht ausreicht. Multi‑Objective‑RL‑Fine‑Tuning ist zwar möglich, aber extrem kostenintensiv. Das neue Konzept, genannt Multi‑Objective Step‑level Denoising‑time Diffusion Alignment (MSDDA), nutzt stattdessen die bereits vorhandenen Einzelziel‑Modelle und berechnet Mittelwert und Varianz der Rückwärts‑Verteilung in geschlossener Form.

Die Autoren zeigen, dass die Denoising‑Time‑Objective exakt dem schrittweisen RL‑Fine‑Tuning entspricht, ohne dabei Approximationen einzuführen. In numerischen Tests übertrifft MSDDA bestehende Ansätze, die auf Denoising‑Time‑Fusion setzen, und bietet damit einen effizienten, retraining‑freien Weg, Diffusionsmodelle an mehrere Qualitätskriterien anzupassen.