MARS²: Mehrere Agenten verbessern Codegenerierung durch lernende Baumsuche

Reinforcement‑Learning‑Modelle haben bereits beeindruckende Ergebnisse bei komplexen Aufgaben wie der Codegenerierung erzielt. Ein häufiges Hindernis bleibt jedoch die begrenzte Vielfalt der Trajektorien, die zu abnehmenden Renditen führt und die Leistungsgrenze einschränkt.

Um dieses Problem zu mildern, setzen viele Ansätze auf suchgestützte RL‑Methoden, die strukturierte Exploration ermöglichen. Diese bleiben jedoch meist an die Vorlieben einer einzelnen Agenten‑Policy gebunden. Gleichzeitig kann die Zusammenarbeit mehrerer Agenten eine größere Vielfalt an explorativen Signalen erzeugen, doch bisher sind solche Multi‑Agent‑Ansätze meist von strukturierten Suchverfahren getrennt.

Die neue Methode MARS² (Multi‑Agent Reinforced Tree‑Search Scaling) verbindet diese beiden Ideen zu einem einheitlichen Rahmen. Mehrere, unabhängig optimierte Agenten arbeiten in einer gemeinsamen, baumartigen Suchumgebung zusammen. Der Suchbaum wird dabei als lernbares Multi‑Agent‑Interaktionsfeld modelliert, sodass heterogene Agenten gemeinsam Kandidaten erzeugen und verfeinern.

Zur effektiven Lernsteuerung führt MARS² eine Pfad‑Level‑Gruppen‑Vorteilsformulierung ein, die auf baumkonstanter Belohnungsformung basiert. Diese Technik ermöglicht eine präzise Zuordnung von Belohnungen entlang komplexer Suchpfade und unterstützt die Agenten bei der Koordination ihrer Aktionen.

Experimentelle Tests auf führenden Codegenerierungs‑Benchmarks zeigen, dass MARS² die Leistung in allen getesteten Modell‑Kombinationen und Trainingsbedingungen konsistent steigert. Die Ergebnisse unterstreichen die Wirksamkeit der Kombination aus Multi‑Agent‑Zusammenarbeit und Baumsuche für die Verstärkungs­lernen‑Optimierung. Der zugehörige Code ist öffentlich auf GitHub verfügbar.