Sparse Token Embedding Unlearning: Sensible Daten aus Modellen entfernen

In der Welt der klinischen Sprachmodelle gewinnt das Konzept des Machine Unlearning zunehmend an Bedeutung. Datenschutzgesetze und interne Richtlinien verlangen oft, dass sensible Informationen aus bereits eingesetzten Systemen entfernt werden – und das ohne einen komplett neuen Trainingszyklus.

Die neue Methode Sparse Token Embedding Unlearning (STEU) bietet hierfür eine effiziente Lösung. STEU aktualisiert lediglich ausgewählte Token‑Embeddings, die durch PMI (Pointwise Mutual Information) bestimmt werden, sowie einen kleinen Klassifikatorkopf. Alle Encoder‑Schichten bleiben unverändert, was die Parameterzahl, die angepasst werden muss, drastisch reduziert.

In umfangreichen Tests auf den Datensätzen MIMIC‑IV, MIMIC‑III und eICU – unter Einsatz von BioClinicalBERT, BERT‑base und DistilBERT – zeigte STEU, dass die Zielklasse zuverlässig unterdrückt werden kann, während die Gesamtleistung des Modells weitgehend erhalten bleibt.

Besonders beeindruckend sind die Ergebnisse im Hauptexperiment mit MIMIC‑IV: STEU erreichte ein nahezu vollständiges Vergessen (Forget‑F1 = 0,0004) und hielt gleichzeitig eine konkurrenzfähige Leistung bei der Beibehaltung (Retain‑Avg‑F1 = 0,4766) bei, obwohl lediglich 0,19 % der Modellparameter verändert wurden.

Diese Befunde verdeutlichen, dass gezieltes, verhaltensbasiertes Unlearning ohne tiefgreifende Änderungen an den Encoder‑Repräsentationen möglich ist – ein bedeutender Fortschritt für die sichere und effiziente Nutzung klinischer Sprachmodelle.