Neue UCT-Strategien passen sich automatisch an Belohnungsmaßstab an

Der Upper Confidence Bounds For Trees (UCT)-Algorithmus ist nicht blind gegenüber der Belohnungsgröße, die in einem Spiel verwendet wird. Während bei Null‑Sum‑Spielen mit sparsamen Endbelohnungen wie –1, 0 oder 1 keine Probleme auftreten, stoßen viele moderne Spiele mit dichten Belohnungen und handverlesenen Skalen auf Schwierigkeiten, weil die Q‑Werte der Knoten stark variieren.

In der aktuellen Studie wurden verschiedene Strategien zur adaptiven Wahl der UCT‑Explorationskonstante λ – die sogenannten λ‑Strategien – systematisch untersucht. Dazu gehören bereits bekannte Ansätze aus der Literatur sowie fünf neu entwickelte Verfahren, die speziell darauf ausgelegt sind, unabhängig von der Belohnungsgröße zu funktionieren.

Die Experimente zeigen eindeutig, dass die neu vorgeschlagene Methode, λ als das Zweifache der empirischen Standardabweichung aller Q‑Werte im Suchbaum zu setzen, die Leistung über ein breites Spektrum an Aufgaben deutlich verbessert. Diese Strategie übertrifft sowohl bestehende λ‑Strategien als auch optimierte Parameterkombinationen in Bezug auf Spitzenleistungen und Konsistenz.