Probabilistische Joint Embeddings revolutionieren selbstüberwachtes Lernen

In der selbstüberwachten Repräsentations­bildung setzen viele Ansätze noch auf deterministische Vorhersagemodelle, die Kontext‑ und Zielansichten im latenten Raum ausrichten. Diese Technik funktioniert zwar in vielen Szenarien, stößt jedoch bei multimodalen Inversen Problemen an ihre Grenzen: Quadratische Verlustfunktionen neigen dazu, zu konditionalen Mittelwerten zu kollabieren, und die Modelle benötigen oft asymmetrische Architekturen, um einen Kollaps der Repräsentationen zu verhindern.

Die neue probabilistische Alternative, die sogenannten Gaussian Joint Embeddings (GJE) und ihre multimodale Variante Gaussian Mixture Joint Embeddings (GMJE), modelliert die gemeinsame Dichte von Kontext‑ und Zielrepräsentationen. Anstelle einer schwarzen Box‑Vorhersage liefert das Modell geschlossene bedingte Inferenz, was präzise Unsicherheitsabschätzungen und ein kovarianz‑sensibles Ziel für die latente Geometrie ermöglicht.

Ein identifizierter Stolperstein – der Mahalanobis‑Trace‑Trap bei naiver empirischer Batch‑Optimierung – wird durch mehrere Lösungen gemildert: prototypbasierte GMJE, GMJE‑MDN (Mixture Density Networks), GMJE‑GNG (Growing Neural Gas) und ein SMC‑Memory‑Bank. Interessanterweise lässt sich kontras­tives Lernen als degenerierter, nichtparametrischer Grenzfall des GMJE‑Rahmens interpretieren.

Experimentelle Ergebnisse auf synthetischen multimodalen Ausrichtungsaufgaben sowie auf etablierten Bildbenchmarks zeigen, dass GMJE komplexe konditionale Strukturen zuverlässig erfasst und damit einen bedeutenden Fortschritt im selbstüberwachten Lernen darstellt.