PersonalQ: Trigger-basierte Auswahl & Quantisierung für effiziente Diffusion

PersonalQ ist ein neu entwickeltes Framework, das die Herausforderung löst, personalisierte Diffusionsmodelle effizient bereitzustellen. Durch die Kombination von gezielter Checkpoint-Auswahl und einer speziellen Quantisierungsmethode wird die Leistung von text‑zu‑Bild‑Generatoren verbessert, ohne die Bildqualität zu beeinträchtigen.

Die Auswahl der passenden Checkpoints erfolgt über einen Trigger‑Token, der als gemeinsamer Signalgeber dient. Zunächst wird eine hybride Suche kombiniert mit einer Intent‑Aware Retrieval‑Strategie durchgeführt. Anschließend nutzt ein großes Sprachmodell (LLM) die Kontextinformationen der Checkpoints, um die besten Kandidaten zu bewerten. Nur wenn mehrere Intents noch plausibel sind, wird eine kurze Klärungsfrage gestellt. Der finale Prompt wird dann um den canonical Trigger des ausgewählten Checkpoints ergänzt, sodass die Anfrage eindeutig interpretiert werden kann.

Für die Quantisierung sorgt die Trigger‑Aware Quantization (TAQ). Diese Technik wendet eine trigger‑bewusste Mixed‑Precision‑Strategie im Cross‑Attention‑Bereich an: Schlüssel‑ und Wert‑Zeilen, die vom Trigger abhängen, bleiben unverändert, während die übrigen Pfade stark quantisiert werden. Dadurch wird Speicherbedarf reduziert, ohne die feinen Repräsentationen, die personalisierte Konzepte kodieren, zu verzerren.

Experimentelle Ergebnisse zeigen, dass PersonalQ die Intent‑Alignment‑Genauigkeit gegenüber herkömmlichen Retrieval‑ und Reranking‑Baselines deutlich steigert. Gleichzeitig liefert TAQ einen überlegenen Kompressions‑Qualitäts‑Trade‑off im Vergleich zu bestehenden Post‑Training‑Quantisierungsmethoden. Das Ergebnis ist eine skalierbare Bereitstellung personalisierter Checkpoints, die sowohl effizient als auch qualitativ hochwertig bleibt.