Transformers meistern unbekannte Suchräume dank Bandit-Feedback

Forscher haben gezeigt, dass Transformer‑Modelle – die Grundlage moderner Large Language Models (LLMs) – in der Lage sind, komplexe Suchstrategien zu replizieren. Durch die Betrachtung von Ideen und deren Folgemaßnahmen als Baumstruktur kann ein externer Suchalgorithmus die LLM effizienter zu besseren Lösungen führen. Doch die Notwendigkeit eines zusätzlichen Suchkomponenten kann den Prozess unnötig verkomplizieren.

Die zentrale Frage lautet daher: Können Transformer selbst als Suchalgorithmus fungieren? Um dies zu prüfen, wurde ein vereinfachtes Rahmenwerk entwickelt, in dem Baumfortsetzungen und Feedbacksignale extern definiert werden. Dieses „unbekannte Baum‑Suche‑mit‑Bandit‑Feedback“-Setup erlaubt eine kontrollierte Bewertung der Suchfähigkeiten von Modellen.

Die Ergebnisse sind vielversprechend: Transformer sind theoretisch ausdrucksstark genug, um verschiedene Suchstrategien zu implementieren, und lassen sich von Grund auf trainieren, um diese Strategien zu approximieren. Darüber hinaus zeigen die Modelle die Fähigkeit, auf unbekannte Bedingungen wie längere Zeiträume oder tiefere Bäume zu generalisieren. Durch gezieltes, aufgabenorientiertes Feintuning der vortrainierten LLMs auf Suchtrajektorien lassen sich schließlich sämtliche Suchfähigkeiten vollständig aktivieren.