MOSAIC: Modulare Sicherheitssteuerung für Sprachmodelle

In der Welt der großen Sprachmodelle (LLMs) wird die Sicherheit häufig als feste Regel in die Modellparameter eingebettet. Doch in der Praxis benötigen Unternehmen und Anwender oft kontextspezifische Sicherheitsregeln, die sich je nach Nutzer, Region oder Anwendung unterscheiden. Traditionelle Ansätze, die Sicherheit auf Parameterebene verankern, verknüpfen Schutzverhalten mit den allgemeinen Fähigkeiten des Modells, während promptbasierte Methoden auf schwache, sprachbasierte Anweisungen angewiesen sind, die kaum Durchsetzungskraft besitzen.

Die neue Methode namens MOSAIC bietet einen modularen Ansatz, der die Sicherheitsausrichtung durch lernbare Kontrolltokens ermöglicht. Diese Tokens werden über ein eingefrorenes Basismodell optimiert und repräsentieren jeweils eine spezifische Sicherheitsbedingung. Während der Inferenz können die Tokens flexibel aktiviert und miteinander kombiniert werden, sodass die Sicherheitsregeln exakt an die jeweilige Situation angepasst werden.

Um die Tokens effizient zu trainieren, nutzt MOSAIC eine auf Aufgaben basierende Stichprobenstrategie und ein Verteilungs‑Level‑Alignmentsziel, das übermäßiges Ablehnen von Anfragen reduziert. Die Experimente zeigen, dass MOSAIC eine starke Verteidigungsleistung erbringt, gleichzeitig die Rate von übermäßigen Ablehnungen deutlich senkt und die allgemeine Nützlichkeit des Modells erhält.