CODE-SHARP: Offene Entdeckung von Fähigkeiten als Belohnungsprogramme

In einer bahnbrechenden Studie präsentiert das Forschungsteam die Methode CODE‑SHARP, die es KI‑Agenten ermöglicht, neue Fähigkeiten völlig offen und kontinuierlich zu entdecken und zu erlernen. Durch die Nutzung von Foundation Models wird ein hierarchisches Archiv von Belohnungsprogrammen aufgebaut, das als gerichteter Graph aus ausführbaren Code‑Schnipseln strukturiert ist.

Traditionelles Reinforcement Learning setzt auf handgefertigte Belohnungsfunktionen – ein Ansatz, der bei der Erkundung unbekannter, komplexer Aufgaben kaum praktikabel ist. CODE‑SHARP überwindet dieses Hindernis, indem es die Belohnungsarchitektur selbst generiert und dabei die Vielfalt möglicher Fähigkeiten nicht vorab festlegt.

Die Experimente in der Craftax‑Umgebung zeigen, dass ein zielorientierter Agent, der ausschließlich die von CODE‑SHARP erzeugten Belohnungen nutzt, zunehmend längere und anspruchsvollere Ziele meistern kann. Durch die Kombination mit einem hochrangigen FM‑basierten Planer gelingt es dem Agenten, komplexe Langzeitaufgaben zu lösen und übertrifft sowohl vortrainierte Modelle als auch spezialisierte Expertensysteme um durchschnittlich 134 %.

Der komplette Code wird als Open‑Source veröffentlicht, und weitere Demonstrationen sind auf der Projektseite verfügbar: hier.