Transductive Label Propagation steigert Konsistenz bei In-Context Learning

Large Language Models (LLMs) nutzen In‑Context Learning (ICL), um mit nur wenigen Beispiel‑Demonstrationen Aufgaben zu lösen. Dabei ist die Auswahl der Prompt‑Demonstrationen entscheidend, denn sie bestimmt, welche Informationen das Modell beim Lösen einer neuen Aufgabe heranzieht.

Derzeit wählen die meisten Ansätze die Top‑K Beispiele aus einem Retrieval‑Modell, das die semantisch ähnlichsten Instanzen auswählt. Dieses Verfahren garantiert jedoch nicht, dass die Labels der ausgewählten Beispiele konsistent sind – ein Problem, das die Effektivität von ICL stark beeinträchtigen kann.

Die vorgestellte Arbeit betrachtet ICL aus einer neuen Perspektive: als transductive Lernverfahren, das die Bayessche Sichtweise nutzt. Dabei wird gezeigt, dass ähnliche Demonstrationen die zugrunde liegenden Konzepte einer Anfrage vorgeben und dass konsistente Labels als zuverlässige Schätzungen dienen. Auf dieser Basis wird ein Label‑Propagation‑Framework entwickelt, das die Konsistenz mit Fehlergrenzen verknüpft.

Zur Modellierung der Label‑Konsistenz wird eine Daten‑Synthese‑Methode eingeführt, die sowohl semantische als auch label‑basierte Informationen nutzt. Durch die Kombination von Top‑K‑Sampling mit synthetischen Daten (TopK‑SD) werden Demonstrationen generiert, die konsistente Labels aufweisen.

Experimentelle Ergebnisse zeigen, dass TopK‑SD die klassische Top‑K‑Auswahl auf mehreren Benchmarks übertrifft. Die Arbeit liefert damit einen frischen Ansatz, um die Funktionsweise von ICL besser zu verstehen und die Leistung von LLMs weiter zu steigern.