Neues Lernverfahren: Target-Aligned Reinforcement Learning beschleunigt RL-Training

Viele Reinforcement‑Learning‑Algorithmen setzen auf Zielnetzwerke – verzögerte Kopien des Online‑Netzes – um das Training zu stabilisieren. Dieses Vorgehen führt jedoch zu einem Spannungsfeld zwischen Stabilität und Aktualität: langsame Zielupdates erhöhen die Stabilität, verringern aber die Frische der Lernsignale und verlangsamen die Konvergenz. Das neue Framework Target‑Aligned Reinforcement Learning (TARL) konzentriert sich gezielt auf Übergänge, bei denen die Schätzungen des Ziel‑ und des Online‑Netzes stark übereinstimmen. Durch die Fokussierung auf gut ausgerichtete Ziele reduziert TARL die negativen Auswirkungen veralteter Zielvorhersagen, behält aber die stabilisierende Wirkung von Zielnetzwerken bei. Eine theoretische Analyse zeigt, dass die Korrektur der Zielausrichtung die Konvergenz beschleunigt, und empirische Tests belegen konsistente Verbesserungen gegenüber Standard‑RL‑Algorithmen in verschiedenen Benchmark‑Umgebungen.