Skalierung der in-Context Online-Lernfähigkeit von LLMs mittels Meta‑RL

Large Language Models (LLMs) erzielen erstklassige Ergebnisse, wenn sämtliche Aufgabenrelevanten Informationen sofort vorliegen – etwa bei statischen Vorhersagen oder Anweisungsbefolgung. In vielen realen Entscheidungsaufgaben ist das jedoch nicht der Fall: Wichtige Daten müssen durch Interaktion erfasst werden, Feedback ist verzögert und die optimale Strategie erfordert ein Gleichgewicht zwischen Informationssammlung und Ausnutzung.

Obwohl in‑Context‑Learning es ermöglicht, sich ohne Gewichtsupdates anzupassen, haben bestehende LLMs Schwierigkeiten, aus interaktiven Erfahrungen im Kontext zu lernen. Das neue Forschungsprojekt „ORBIT“ – ein Multi‑Task‑, Multi‑Episode‑Meta‑Reinforcement‑Learning‑Framework – adressiert dieses Problem gezielt.

Durch Meta‑Training lernt ein relativ kleines Open‑Source‑Modell, Qwen3‑14B, effektiv aus Interaktionen im Kontext zu lernen. Nach dem Training zeigt das Modell eine deutlich verbesserte Online‑Lernfähigkeit in völlig unbekannten Umgebungen, erreicht die Leistung von GPT‑5.2 und übertrifft herkömmliches RL‑Fine‑Tuning um einen großen Anteil.

Skalierungsexperimente belegen, dass die Vorteile mit zunehmender Modellgröße weiter steigen, was auf erhebliches Potenzial für Agenten hinweist, die Entscheidungen in Echtzeit lernen und anpassen können.

Die vollständigen Ergebnisse und der zugehörige Code sind auf GitHub verfügbar: https://github.com/XiaofengLin7/ORBIT.