Sparse Autoencoders: erste 3D‑Anwendung zur Feature‑Decomposition

Forscher haben Sparse Autoencoders (SAEs) erstmals auf 3D‑Modelle angewendet und damit einen wichtigen Schritt in der Analyse von 3D‑Rekonstruktionsmodellen erreicht. SAEs, die bisher vor allem im Textbereich eingesetzt wurden, ermöglichen es, neuronale Netzwerkaktivierungen in diskrete, semantisch wertvolle Features zu zerlegen, ohne dass externe Anleitung nötig ist.

In einer Studie mit 53.000 3D‑Objekten aus dem Objaverse‑Datensatz zeigte ein hochmodernes VAE‑Modell, dass die Netzwerk­features nicht kontinuierlich, sondern diskret sind. Diese Entdeckung legt nahe, dass das Modell ein diskretes Zustands­raum‑Konzept nutzt, das durch phasenähnliche Übergänge in den Feature‑Aktivierungen gesteuert wird. Durch diese Sichtweise konnten drei zuvor schwer zu erklärende Phänomene – die Neigung zu positionsbasierten Encodings, die sigmoide Abnahme der Rekonstruktions­verluste bei Feature‑Ablation und die bimodale Verteilung der Phasen­Übergangspunkte – systematisch interpretiert werden.

Die Ergebnisse deuten darauf hin, dass das Modell die Interferenzen, die durch die Überlagerung von Features entstehen, neu verteilt, um die Relevanz einzelner Features hervorzuheben. Der zugehörige Code sowie die kodierten 3D‑Objekte werden im Rahmen der Veröffentlichung zur Verfügung gestellt, sodass andere Forscher die Methode weiterentwickeln und auf neue Anwendungsbereiche übertragen können.