Transformers nutzen unlabeled Kontext: Fortschritt im semi-überwachtem Lernen

In den letzten Jahren hat die Forschung verstärkt die Fähigkeit von Transformers untersucht, im Kontext zu lernen (ICL).

Bisher konzentrierte sich die Theorie vor allem auf vollständig gelabelte Datensätze, doch in der Praxis zeigen Transformers oft gute Ergebnisse, selbst wenn die Labels knapp oder gar nicht vorhanden sind.

Die neue Studie führt das Konzept des in‑Context semi‑überwachten Lernens (IC‑SSL) ein, bei dem ein kleines Set gelabelter Beispiele von vielen unlabelten Daten begleitet wird.

Die Autoren zeigen, dass Transformers die unlabelten Kontextpunkte nutzen können, um eine robuste, kontextabhängige Repräsentation zu lernen.

Diese Repräsentation ermöglicht präzise Vorhersagen und verbessert die Leistung in Situationen mit wenigen Labels deutlich.

Die Ergebnisse liefern wichtige Einblicke, wie Transformers unlabeled Kontext für das Representation Learning im ICL-Framework einsetzen.