TRUST: Dynamisches Konzept‑Unlernen in Text‑Diffusion‑Modellen

Ein neues Verfahren namens TRUST (Targeted Robust Selective fine Tuning) wurde auf arXiv veröffentlicht und verspricht, Text‑Diffusion‑Modelle sicherer zu machen, ohne ihre kreative Leistung zu opfern. Die Autoren zeigen, wie man gezielt neuronale Schaltkreise identifiziert, die für schädliche Inhalte verantwortlich sind, und diese anschließend durch selektives Fein‑Tuning unlearnen kann.

Im Gegensatz zu bisherigen Ansätzen, die meist ein vollständiges Re‑Training erfordern, nutzt TRUST eine dynamische Schätzung der relevanten Neuronen und reguliert das Lernen mit einer hessischen Regularisierung. Dadurch wird die Rechenzeit deutlich reduziert, während die Modelle weiterhin hochwertige Texte generieren können.

Die Experimente demonstrieren, dass TRUST nicht nur einzelne Konzepte, sondern auch Kombinationen und bedingte Konzepte zuverlässig entfernt. Gleichzeitig bleibt die Generierungsqualität erhalten und das System bleibt robust gegen gezielte Angriffe mit adversarial Prompts. Insgesamt übertrifft TRUST die aktuellen State‑of‑the‑Art‑Methoden in Effizienz und Sicherheit.