LLMs optimieren RL-Belohnungen: CoUR senkt Kosten, steigert Leistung

Das Design von Belohnungsfunktionen ist ein zentrales, aber gleichzeitig sehr arbeitsintensives Problem im Reinforcement Learning. Traditionelle Ansätze erfordern umfangreiche manuelle Schritte, die oft redundante Tests und lokale Unsicherheiten an Zwischenentscheidungen übersehen.

Die neue Methode „Chain of Uncertain Rewards“ (CoUR) nutzt große Sprachmodelle, um diesen Prozess zu beschleunigen. Durch die Quantifizierung von Code‑Unsicherheiten und die Kombination von textueller sowie semantischer Analyse wählt CoUR die relevantesten Bestandteile einer Belohnungsfunktion aus und re‑verwendet sie gezielt.

Dadurch werden unnötige Evaluierungen drastisch reduziert. Zusätzlich setzt CoUR Bayesianische Optimierung ein, um die einzelnen Belohnungskomponenten unabhängig voneinander zu optimieren und so die Suche nach optimalem Feedback zu beschleunigen.

In umfangreichen Tests wurden neun Umgebungen aus IsaacGym sowie alle 20 Aufgaben des Bidexterous Manipulation Benchmarks evaluiert. Die Ergebnisse zeigen, dass CoUR nicht nur die Leistung der Agenten verbessert, sondern auch die Kosten für Belohnungs­evaluierungen deutlich senkt.

Diese Arbeit demonstriert, wie Sprachmodelle das Belohnungsdesign im Reinforcement Learning revolutionieren können – effizienter, robuster und weniger ressourcenintensiv.