Neuer Softmax-Algorithmus minimiert Varianz bei Multi-Armed Bandits

In einer aktuellen Veröffentlichung auf arXiv wird ein innovativer Ansatz für das klassische Multi-Armed Bandit (MAB)-Problem vorgestellt, der sich gezielt mit der Minimierung von Varianz beschäftigt. Während herkömmliche Methoden darauf abzielen, die Arm mit der höchsten erwarteten Belohnung zu identifizieren, richtet sich dieser neue Algorithmus an risikobewusste Entscheidungsträger, die Stabilität über potenziell hohe, aber unsichere Renditen stellen.

Der Kern des Ansatzes ist die Softmax-Parameterisierung der Policy. Durch die Kombination von zwei unabhängigen Stichproben aus der aktuellen Arm-Verteilung erzeugt der Algorithmus einen unverzerrten Schätzer für die Varianz. Damit kann er die Arm mit der geringsten Streuung zuverlässig auswählen und gleichzeitig die Konvergenz unter natürlichen Bedingungen nachweisen.

Numerische Experimente demonstrieren das praktische Verhalten des Verfahrens und liefern wertvolle Hinweise zur Implementierung. Darüber hinaus deckt die Arbeit ein breiteres Spektrum risikobewusster Probleme ab, bei denen ein Balanceakt zwischen Maximierung des durchschnittlichen Gewinns und Minimierung seiner Varianz besteht.