LoRA-Adapter-Geometrie zeigt Trainingsziel und schädliches Verhalten

In einer neuen Studie wurde untersucht, ob die spektrale Struktur von LoRA‑Gewichtsdeltas das angewandte Fein‑Tuning‑Ziel erkennen und sogar schädliches Verhalten vorhersagen kann. Dafür wurden 38 LoRA‑Adapter für das Modell Llama‑3.2‑3B‑Instruct erstellt, die vier Kategorien abdeckten: gesunde SFT‑Baselines, DPO‑Training mit invertierten Harmlos‑Präferenzen, DPO‑Training mit invertierten Hilfs‑Präferenzen und Adapter, die aus Aktivierungs‑Steering abgeleitet wurden.

Aus jedem Layer wurden spektrale Merkmale wie Normen, stabiler Rang, Singular‑Wert‑Entropie, effektiver Rang und die Kosinus‑Ähnlichkeit der Singular‑Vektoren zu einem gesunden Zentroid extrahiert. Ein logistisches Regressionsmodell erreichte mit einem AUC von 1,00 eine perfekte Trennung von Drift‑Erkennung, allen Paarvergleichen der Ziele und einer nahezu perfekten ordinalen Schwere‑Bewertung (ρ ≥ 0,956).

Eine Hauptkomponentenanalyse der flachen Gewichtsdeltas zeigte, dass das Trainingsziel die erste Hauptkomponente (PC1) bildet, während die Trainingsdauer die zweite Hauptkomponente (PC2) bestimmt. Query‑Projection‑Gewichte konnten Drift erkennen, während Value‑Projection‑Gewichte das spezifische Ziel identifizierten. Allerdings funktionierte die Generalisierung auf andere Methoden nicht: Ein DPO‑trainierter Klassifikator bewertete Steering‑Adapter immer niedriger als DPO‑Adapter (AUC = 0,00).

In einer Verhaltensbewertung zeigten DPO‑inverted‑harmlessness‑Adapter eine deutlich höhere schädliche Compliance bei HEx‑PHI‑Prompts (durchschnittliche ASR 0,266 gegenüber 0,112 bei gesunden Modellen, Δ = +0,154). Die Dose‑Antwort‑Korrelation war nahezu perfekt (ρ = 0,986). Diese Ergebnisse deuten darauf hin, dass die geometrische Signatur von LoRA‑Adapter‑Gewichtsdeltas nicht nur das Trainingsziel, sondern auch das Risiko schädlichen Verhaltens zuverlässig vorhersagen kann.