PolyJuice: Schwarze-Box-Red-Teaming für synthetische Bilddetektoren

Die neue Methode PolyJuice eröffnet einen völlig neuen Ansatz für das Red‑Teaming von synthetischen Bilddetektoren (SIDs). Während bisherige Techniken auf White‑Box-Zugriff und kostenintensive Online‑Optimierung angewiesen waren, arbeitet PolyJuice ausschließlich mit Black‑Box-Zugriff und nutzt einen leichtgewichtigen Offline‑Prozess, um die Richtung eines beobachteten Verteilungsschrifts im latenten Raum von Text‑zu‑Bild‑Modellen zu bestimmen.

Durch das gezielte „Steuern“ aller generierten Bilder in Richtung der erkannten Schwachstellen können PolyJuice‑gestützte Modelle die Erfolgsrate von SIDs bis zu 84 % senken – ein deutlicher Sprung gegenüber ungestuerten Modellen. Gleichzeitig lässt sich die Richtung der Steuerung effizient bei niedriger Auflösung schätzen und mittels einfacher Interpolation auf höhere Auflösungen übertragen, was den Rechenaufwand erheblich reduziert.

Ein weiterer bemerkenswerter Nutzen von PolyJuice liegt in der Datenaugmentation: Durch das Training von SIDs mit PolyJuice‑augmentierten Datensätzen kann die Erkennungsleistung um bis zu 30 % gesteigert werden. Damit bietet PolyJuice nicht nur ein effektives Werkzeug zum Testen und Verbessern von Bilddetektoren, sondern auch einen praktischen Ansatz zur Stärkung ihrer Robustheit gegen fortschrittliche synthetische Bildgeneratoren.