Neue Divergenz-Strategien revolutionieren Representation Learning

Ein neues Forschungsprojekt namens Beyond I‑Con zeigt, dass die bisherige Praxis, die Information Contrastive (I‑Con) Methode zu nutzen, nur ein Teil des Bildes ist. Die Autoren haben herausgefunden, dass über 23 gängige Verfahren im Representation Learning eigentlich die KL‑Divergenz minimieren, obwohl diese Metrik nicht immer mit dem eigentlichen Ziel übereinstimmt und Optimierungsprobleme verursachen kann.

Durch die systematische Erkundung alternativer statistischer Divergenzen und Ähnlichkeitskerne präsentiert Beyond I‑Con ein flexibles Framework, das neue Verlustfunktionen generiert. Die Ergebnisse sind beeindruckend: Bei der unüberwachten Clusterung von DINO‑ViT‑Embeddings erzielt die Modifikation des PMI‑Algorithmus mit Total Variation (TV) die besten bisherigen Resultate.

Im Bereich des supervised contrastiven Lernens übertrifft die Kombination aus TV‑Divergenz und einem distanzbasierten Ähnlichkeitskernel die Standardansätze, die auf KL‑Divergenz und einem Winkelkernel beruhen. Für die Dimensionsreduktion liefert die Ersetzung von KL durch eine begrenzte f‑Divergenz qualitativ bessere Visualisierungen und bessere Leistungen bei nachgelagerten Aufgaben als das etablierte SNE.

Diese Erkenntnisse unterstreichen, wie entscheidend die Wahl von Divergenz- und Kernel‑Strategien für die Optimierung von Representation Learning ist und eröffnen neue Wege für effizientere und robustere Modelle.