Neue Theorie erklärt In-Context Learning mit CoT und Demonstrationen

Ein neues theoretisches Modell liefert erstmals ein klares Bild davon, wie In‑Context Learning (ICL) bei großen Sprachmodellen funktioniert. Dabei wird erklärt, warum ein vortrainiertes Modell ohne Parameter‑Updates durch wenige Demonstrationen in der Lage ist, neue Aufgaben zu lösen.

Die Studie geht über bisherige Annahmen hinaus und berücksichtigt praktische Faktoren wie die Auswahl der Demonstrationen, die Verwendung von Chain‑of‑Thought (CoT) Prompting, die Anzahl der Beispiele und die Gestaltung der Prompt‑Templates. Unter milden Voraussetzungen wird ein Obergrenze für den Testverlust abgeleitet, die zeigt, dass die Leistung von drei Faktoren abhängt: der Qualität der ausgewählten Demonstrationen, der inhärenten ICL‑Kapazität des Modells und dem Grad der Verteilungsshift.

CoT‑Prompting wird als effektive Aufteilung einer Aufgabe in einfachere Teilaufgaben interpretiert. Der Ansatz ist besonders vorteilhaft, wenn zu jedem Teilaufgabenschritt passende Demonstrationen vorliegen und die Teilaufgaben leichter zu erlernen sind. Außerdem wird aufgezeigt, wie die Empfindlichkeit gegenüber Prompt‑Templates mit der Anzahl der Demonstrationen variiert.

Zusammenfassend verdeutlicht die Arbeit, dass das Vortraining eines Modells die Grundlage für die Generalisierung über beobachtete Aufgaben hinweg legt, CoT die Komposition von Teilaufgaben erleichtert und sorgfältig ausgewählte Demonstrationen sowie klare Anweisungen die Leistungsfähigkeit von ICL entscheidend steigern.