UCS: Unseen Coverage Selection steigert In-Context Learning um bis zu 6 %
Ein neues Verfahren namens Unseen Coverage Selection (UCS) verspricht, die Leistung von In-Context Learning (ICL) bei großen Sprachmodellen signifikant zu verbessern. Im Gegensatz zu bisherigen Selektoren, die sich auf…
- Ein neues Verfahren namens Unseen Coverage Selection (UCS) verspricht, die Leistung von In-Context Learning (ICL) bei großen Sprachmodellen signifikant zu verbessern.
- Im Gegensatz zu bisherigen Selektoren, die sich auf heuristische Relevanz- oder Diversitätskriterien stützen, fokussiert UCS auf die Abdeckung latenter Cluster, die in e…
- Zunächst werden diskrete latente Cluster aus modellkonsistenten Einbettungen abgeleitet.
Ein neues Verfahren namens Unseen Coverage Selection (UCS) verspricht, die Leistung von In-Context Learning (ICL) bei großen Sprachmodellen signifikant zu verbessern. Im Gegensatz zu bisherigen Selektoren, die sich auf heuristische Relevanz- oder Diversitätskriterien stützen, fokussiert UCS auf die Abdeckung latenter Cluster, die in einer Demonstrationsmenge bislang nicht repräsentiert sind.
UCS arbeitet ohne zusätzliche Trainingsschritte. Zunächst werden diskrete latente Cluster aus modellkonsistenten Einbettungen abgeleitet. Anschließend schätzt ein geglätteter Good–Turing-Estimator die Anzahl noch nicht enthüllter Cluster in einer Kandidatensubset anhand seines empirischen Frequenzspektrums. Diese coverage-basierte Herangehensweise kann einfach mit bestehenden, sowohl query‑abhängigen als auch query‑unabhängigen Auswahlmethoden kombiniert werden.
Experimentelle Ergebnisse auf mehreren Intent‑Classification‑ und Reasoning‑Benchmarks zeigen, dass UCS die ICL‑Genauigkeit um bis zu 2 % bis 6 % steigert, ohne den Auswahlbudget zu erhöhen. Darüber hinaus liefert UCS wertvolle Einblicke in die latenten Clusterverteilungen von Aufgaben und Modellen.
Der Quellcode ist frei verfügbar unter https://github.com/Raina-Xin/UCS.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.