Training ohne Orthogonalisation, Inferenz mit SVD: Neue Rotationsanalyse

Eine aktuelle Untersuchung hat gezeigt, dass das Weglassen der Orthogonalisation während des Trainings und deren Einsetzen ausschließlich bei der Inferenz die Genauigkeit von Rotationsschätzungen in neuronalen Netzen deutlich steigert. Besonders überzeugend sind die Ergebnisse für 9‑Dimensionale (9D) Repräsentationen, die mit einer Singular Value Decomposition (SVD) projiziert werden.

Die Autoren liefern eine detaillierte Gradientenanalyse der SVD‑Orthogonalisation für 3×3‑Matrix‑Operationen und die Projektion auf die Rotationsgruppe SO(3). Sie bestimmen exakt die Spektralstruktur des Jacobians des Rückwärtspasses: Der Rang beträgt drei – gleich der Dimension von SO(3) – und die nicht‑nullen Singulärwerte lauten 2 / (sᵢ + sⱼ). Der Konditionszahlwert κ = (s₁ + s₂)/(s₂ + s₃) quantifiziert die Gradientenverzerrung, die besonders stark wird, wenn die Vorhersagematrix noch weit von SO(3) entfernt ist, etwa zu Beginn des Trainings, wenn s₃ nahe Null liegt.

Selbst stabilisierte SVD‑Gradienten führen zu Richtungsfehlern, während das komplette Entfernen von SVD aus dem Trainingszyklus diese Nachteile eliminiert. Zusätzlich wird gezeigt, dass der Jacobian der 6‑D‑Gram‑Schmidt‑Orthogonalisation ein asymmetrisches Spektrum aufweist, wodurch die Parameter ungleichmäßig Gradienten erhalten. Diese Beobachtung erklärt, warum die 9‑D‑Parameterisierung gegenüber der 6‑D‑Variante bevorzugt wird.

Insgesamt liefert die Arbeit eine solide theoretische Basis für die neue Trainingsstrategie: direkte 9‑D‑Regression ohne Orthogonalisation, gefolgt von einer SVD‑Projektion ausschließlich bei der Inferenz. Diese Erkenntnisse eröffnen einen klaren Weg, die Rotationsschätzung in Deep‑Learning‑Modellen weiter zu verbessern.