Tiefe Netzwerke fördern Low‑Rank‑Bias bei Matrix Completion – neue Erkenntnisse

In einer kürzlich veröffentlichten Arbeit wird Matrix Completion mithilfe von tiefen Matrix‑Faktorisierungen – also tiefen linearen neuronalen Netzwerken – untersucht. Ziel ist es, zu verstehen, wie die Tiefe eines Netzes die Trainingsdynamik beeinflusst und warum tiefere Modelle häufig einen impliziten Low‑Rank‑Bias aufweisen.

Die Autoren zeigen, dass ab einer Tiefe von drei Schichten ein starkes „coupled“ Verhalten entsteht, sofern das Netzwerk nicht diagonal initialisiert wird. Dieses gekoppelte Verhalten ist der entscheidende Mechanismus, der den Low‑Rank‑Bias verstärkt. Außerdem wird bewiesen, dass ein Netzwerk nur dann zu einer Rang‑1‑Lösung konvergiert, wenn die Dynamik gekoppelt ist – ein Ergebnis, das eine offene Frage von Menon (2024) für eine ganze Klasse von Initialisierungen beantwortet.

Ein weiteres zentrales Thema ist der Verlust an Plastizität, der bei Matrix Completion auftritt, wenn ein Modell zunächst mit wenigen Beobachtungen vortrainiert und anschließend mit mehr Daten weitertrainiert wird. Die Studie demonstriert, dass tiefe Modelle diesem Problem durch ihren inhärenten Low‑Rank‑Bias entgehen, während flache (Tiefe‑2) Netzwerke, die unter decoupled Dynamiken vortrainiert wurden, nicht zu einer Low‑Rank‑Lösung konvergieren – selbst wenn das erneute Training die Kopplungsbedingung erfüllt.

Diese Ergebnisse liefern nicht nur neue theoretische Einsichten in die Trainingsdynamik tiefer linearer Netzwerke, sondern haben auch praktische Implikationen für die Gestaltung von Lernstrategien in der Matrix‑Completion‑Forschung. Sie verdeutlichen, dass die Tiefe eines Modells einen entscheidenden Einfluss auf seine Fähigkeit hat, robuste und generalisierbare Lösungen zu finden.