Hybrid-Optionen steigern Deep RL bei langfristigen Entscheidungen

Ein neuer Ansatz aus dem arXiv-Preprint 2603.06565v1 zeigt, wie Deep Reinforcement Learning (RL) durch logische Optionen vorangetrieben werden kann. Der Beitrag adressiert das Problem, dass Agenten häufig zu stark auf kurzfristige Belohnungen setzen und dadurch langfristige Ziele vernachlässigen.

Der Autor*innen zufolge kombinieren sie symbolische Strukturen mit neuronalen Netzwerken in einem zweistufigen Trainingsprozess. Zunächst wird die Agentenpolitik mit logischen Optionen vortrainiert, die sparsamen, zielgerichteten Handlungsabläufen entsprechen. Anschließend wird die Politik in der eigentlichen Umgebung weiter optimiert, ohne die zuvor erlernte Struktur zu verlieren.

Die Experimente zeigen, dass das Hybrid Hierarchical RL (H^2RL) die Entscheidungsqualität über lange Zeiträume deutlich verbessert. Im Vergleich zu reinen neuronalen, symbolischen und neuro-symbolischen Baselines erzielen die Agenten höhere Leistungen und sind weniger anfällig für kurzfristige Belohnungszyklen.

Der Ansatz demonstriert, dass die Einbindung von logischen Optionen eine praktikable Möglichkeit darstellt, Deep RL-Agenten zu steuern und gleichzeitig die Flexibilität tiefer neuronaler Modelle beizubehalten. Die Ergebnisse deuten darauf hin, dass hybride Lernstrategien künftig eine wichtige Rolle in komplexen, langfristigen Entscheidungsaufgaben spielen könnten.