Querschnittliches Wissenstransfer in In-Context Learning: Erfolgreiche Studie

In der aktuellen Forschung zum In-Context Learning (ICL) wird häufig auf Demonstrationen aus dem gleichen Fachgebiet zurückgegriffen. Diese Vorgehensweise stößt jedoch an Grenzen, wenn Expertenannotationen knapp sind. Die neue Studie mit dem Titel „Reason Analogically via Cross-domain Prior Knowledge“ untersucht, ob Demonstrationen aus anderen Domänen dennoch nützlich sein können, indem sie gemeinsame Denkstrukturen nutzen.

Die Autoren führten eine umfangreiche experimentelle Analyse verschiedener Abrufmethoden durch, um die Machbarkeit eines Querschnitts-Wissenstransfers im ICL-Setting zu prüfen. Die Ergebnisse zeigen, dass ein bedingter positiver Transfer möglich ist: Sobald ein bestimmter „Absorptionsschwellenwert“ überschritten wird, steigt die Wahrscheinlichkeit für einen erfolgreichen Transfer, und zusätzliche Demonstrationen führen zu noch größeren Leistungszuwächsen.

Die Studie legt nahe, dass die erzielten Verbesserungen vor allem durch die Reparatur von Denkstrukturen mittels abgerufener Beispiele aus anderen Domänen entstehen, weniger durch semantische Ähnlichkeiten. Damit wird die Idee bestätigt, dass Querschnitts-Wissenstransfer das Potenzial hat, die Leistung von ICL in neuen Bereichen zu steigern und die Forschung zu motivieren, effektivere Abrufstrategien zu entwickeln.

Die vollständige Arbeit ist unter arXiv:2604.05396v1 verfügbar, und der zugehörige Code kann über GitHub eingesehen werden.