Effizientes RL-Training für LLMs durch Experience Replay

In der Welt des maschinellen Lernens gilt das Konzept des Experience Replay – das Speichern und wiederholte Nutzen von Rollouts – als Grundpfeiler des Reinforcement Learning. Trotz seiner Erfolge bleibt es in der Nachtrainingsphase von großen Sprachmodellen (LLMs) weitgehend unerforscht, weil man davon ausgeht, dass ausschließlich frische, on‑policy Daten für Spitzenleistungen nötig sind.

Die neue Studie von Forschern aus dem Bereich der KI‑Optimierung stellt diese Annahme in Frage. Sie untersuchen systematisch, wie Replay‑Puffer für LLM‑Post‑Training gestaltet werden sollten, und formulieren das Problem als Abwägung zwischen Stalenheits‑Varianz, Stichprobenvielfalt und den hohen Rechenkosten der Textgenerierung. Dabei zeigen sie, dass ein strikt on‑policy Ansatz bei teurer Generierung suboptimal ist.

Durch gezielte Experimente demonstriert die Arbeit, dass ein gut konzipierter Replay‑Puffer die Inferenzrechenleistung drastisch senken kann, ohne die Endleistung zu verschlechtern – und in einigen Fällen sogar zu verbessern. Gleichzeitig bleibt die Policy‑Entropie erhalten, was die Stabilität und Vielfalt der generierten Texte gewährleistet.