Agent lernt 200 Aufgaben gleichzeitig – Fortschritt in kontinuierlicher Kontrolle
In einer wegweisenden Studie präsentiert ein internationales Forschungsteam ein neues Benchmark, das 200 vielfältige Aufgaben aus unterschiedlichen Domänen und mit verschiedenen Körperformen umfasst. Jede Aufgabe wird durch präzise Sprachanweisungen, Demonstrationsdaten und optional Bildbeobachtungen ergänzt, wodurch ein umfassendes Lernumfeld entsteht.
Das Herzstück der Arbeit ist „Newt“, ein sprachgesteuertes Multitask-Weltmodell. Zunächst wird das Modell anhand von Demonstrationen vortrainiert, um Aufgaben-spezifische Repräsentationen und Aktionsvorhersagen zu erlernen. Anschließend wird es gemeinsam mit Online-Interaktion über alle Aufgaben hinweg optimiert. Dieser Ansatz kombiniert die Vorteile großer Vortrainingsdaten mit der Flexibilität von Online-Lernen.
Experimentelle Ergebnisse zeigen, dass Newt die Multitask-Leistung und Dateneffizienz gegenüber starken Baselines deutlich verbessert. Das Modell demonstriert zudem eine starke offene Schleifensteuerung und kann sich rasch an völlig neue Aufgaben anpassen. Diese Fortschritte legen nahe, dass Online-Reinforcement-Learning in der kontinuierlichen Kontrolle skalierbar ist.
Die Autoren stellen ihre Umgebungen, Demonstrationsdaten, Trainings- und Evaluationscode sowie über 200 Checkpoints frei zur Verfügung, um die Forschungsgemeinschaft zu unterstützen und weitere Entwicklungen zu fördern.