Kontextuelle Intelligenz: Der nächste Durchbruch im Reinforcement Learning

Reinforcement Learning (RL) hat in Spielen, Robotik und kontinuierlicher Steuerung beeindruckende Erfolge erzielt. Trotz dieser Fortschritte bleiben die erlernten Strategien oft auf die Trainingsumgebung beschränkt, was ihre Anwendung in der realen Welt stark einschränkt.

Die neueste Forschung im Bereich der kontextuellen RL (cRL) zeigt, dass die Einbeziehung von Umgebungsmerkmalen – den sogenannten Kontexten – die Fähigkeit von Agenten verbessert, ohne zusätzliche Trainingseinheiten in neuen Situationen zu funktionieren. Bisher wurde Kontext jedoch als ein statisches, monolithisches Merkmal behandelt, was die Generalisierungsfähigkeit von RL-Agenten begrenzt.

Um echte kontextuelle Intelligenz zu erreichen, schlägt die Studie eine neue Taxonomie vor, die Kontexte in allogene (vom Umfeld auferlegte) und autogene (vom Agenten selbst erzeugte) Faktoren unterteilt. Diese Unterscheidung ermöglicht es Agenten, gezielt zu lernen, wie verschiedene Kontextebenen ihr Verhalten beeinflussen und umgekehrt.

Die Autoren identifizieren drei zentrale Forschungsrichtungen: Erstens die Nutzung heterogener Kontexte, um die Taxonomieebenen explizit auszunutzen; zweitens die Modellierung mehrerer Zeitskalen, da allogene Variablen langsam oder statisch bleiben, während autogene Variablen sich innerhalb eines Episodenverlaufs ändern können; und drittens die Integration abstrakter, hochrangiger Kontexte, die Rollen, Ressourcen, Regulierungsrahmen und Unsicherheiten umfassen, die das Verhalten entscheidend beeinflussen.

Die Vision ist, Kontext als primäres Modellierungsprinzip zu etablieren, damit Agenten verstehen, wer sie sind, welche Möglichkeiten die Welt bietet und wie sich beide im Laufe der Zeit entwickeln. Durch diese Herangehensweise soll die Generalisierungsfähigkeit von RL-Agenten nachhaltig gesteigert werden.