SCALAR: KI-gestützte Planung und Deep RL ermöglichen neue Lernmethoden

Mit dem neuen Framework SCALAR wird die Kluft zwischen hochrangiger Sprachplanung und niedrigstufiger Steuerung geschliffen. Durch die Kombination von Large Language Models (LLMs) und Deep Reinforcement Learning (RL) entsteht ein bidirektionaler Lernzyklus, in dem Sprachmodelle Fähigkeiten vorschlagen und RL-Algorithmen diese Fähigkeiten trainieren und verfeinern.

Das System lässt LLMs Skills mit klar definierten Vorbedingungen und Effekten generieren. Für jeden Skill wird anschließend eine RL-Policy trainiert, die die konkrete Ausführung übernimmt. Die Ergebnisse der Ausführung werden zurück an das LLM kommuniziert, wodurch die Spezifikationen der Skills schrittweise korrigiert und robuster gemacht werden. Dieser iterative Feedback-Mechanismus verhindert, dass anfängliche Fehler in der Sprachspezifikation zu dauerhaften Leistungsproblemen führen.

Zur weiteren Optimierung nutzt SCALAR zwei ergänzende Techniken: Pivotal Trajectory Analysis analysiert die RL-Trajektorien, um die ursprünglichen LLM-Vorhersagen zu korrigieren, und Frontier Checkpointing speichert optionale Umgebungszustände an den Grenzen der Skills, was die Stichprobeneffizienz deutlich erhöht.

In der Praxis erzielt SCALAR beeindruckende Ergebnisse auf der Craftax-Plattform. Das Modell sammelt 88,2 % der Diamanten – ein 1,9‑faches Verbesserung gegenüber dem besten Vergleichsmodell – und erreicht die Gnomish Mines 9,1 % der Zeit, während frühere Ansätze dort komplett scheiterten. Diese Erfolge demonstrieren das Potenzial von SCALAR, komplexe Aufgaben durch die Kombination von Sprachplanung und lernbasierter Steuerung effizient zu lösen.