Neurale Systeme in Superposition: Warum herkömmliche Vergleichsmethoden trügen

In einer wegweisenden Studie zeigen die Autoren, dass herkömmliche Messgrößen wie RSA, CKA und lineare Regression bei neuronalen Netzwerken, die in Superposition arbeiten, die wahre Ähnlichkeit zwischen den Systemen stark unterschätzen.

Durch die lineare Kompression können neuronale Systeme mehr Merkmale als Neuronen kodieren. Die Forscher haben geschlossene Formeln entwickelt, die beweisen, dass die Superposition die Vergleichsmetriken systematisch herunterdrückt – selbst wenn zwei Netzwerke exakt dieselben Feature‑Inhalte besitzen.

Der Grund liegt darin, dass die Metriken nicht die latenten Features selbst, sondern die Kreuzähnlichkeit der jeweiligen Superpositionsmatrizen berücksichtigen. Bei zufälligen Projektionen unterscheiden sich diese Matrizen häufig, wodurch die Alignment‑Scores die Art der Repräsentation mit dem Inhalt verwechseln.

Besonders bei teilweiser Feature‑Überschneidung kann dieser Effekt die erwartete Reihenfolge umkehren: Systeme, die weniger gemeinsame Merkmale teilen, erscheinen fälschlicherweise stärker ausgerichtet als solche mit mehr Übereinstimmungen.

Wichtig ist jedoch, dass ein scheinbarer Mangel an Alignment nicht zwangsläufig einen Informationsverlust bedeutet. Durch die Prinzipien der komprimierten Messung bleibt die ursprüngliche Feature‑Information erhalten, solange sie spärlich ist.

Die Autoren fordern daher, bei der Analyse von neuronalen Systemen in Superposition die zugrunde liegenden Features zu extrahieren und auszurichten, anstatt die rohen Aktivitätsmischungen zu vergleichen.