PCA neu gedacht: Dualität und DC-Methoden eröffnen neue Wege
In einer kürzlich veröffentlichten Arbeit auf arXiv wird die klassische Hauptkomponentenanalyse (PCA) aus einer völlig neuen Perspektive betrachtet. Durch die Verbindung von Self‑Attention-Mechanismen mit (Kernel‑)PCA werden die Grundlagen von PCA mit dem Difference‑of‑Convex (DC) Framework neu interpretiert.
Die Autoren stellen mehrere innovative Formulierungen vor und liefern damit neue theoretische Einsichten. Besonders hervorzuheben ist die Nachweisbarkeit der Kernelizierbarkeit und die Möglichkeit, PCA‑ähnliche Probleme auch außerhalb des Trainingsdatensatzes anzuwenden. Gleichzeitig wird gezeigt, dass die klassische Simultaneous‑Iteration – eng verbunden mit dem QR‑Algorithmus – ein spezieller Fall des DC‑Algorithmus (DCA) ist. Damit erhält ein langjähriges Verfahren eine moderne Optimierungsperspektive.
Darüber hinaus werden neue Algorithmen für PCA vorgestellt und systematisch mit den aktuellen Spitzenmethoden verglichen. Abschließend präsentiert die Arbeit eine kernelizierbare Dual‑Formulierung für eine robuste Variante von PCA, die die l1‑Abweichung der Rekonstruktionsfehler minimiert.