LLMs meistern Multi‑Turn-Interaktion dank neuer RL‑Methode

Neues Forschungspapier aus dem arXiv-Repository zeigt, dass große Sprachmodelle (LLMs) zwar bei vollständigen Informationen in einem einzigen Gesprächsverlauf beeindruckende Rechenleistungen erbringen, bei schrittweise enthüllten Daten jedoch stark nachlassen. Das Phänomen, das die Autoren „Contextual Inertia“ nennen, beschreibt, wie Modelle ihre vorherigen Schlussfolgerungen festhalten und neue Hinweise ignorieren, selbst wenn diese später im Dialog ausdrücklich korrigiert werden.

Um dieses Problem zu lösen, stellen die Forscher die Methode RLSTA vor – Reinforcement Learning with Single‑Turn Anchors. RLSTA nutzt die starken Einzelschrittfähigkeiten eines Modells als stabile interne Ankerpunkte, die als Belohnungssignale dienen. Durch die Ausrichtung der Mehrfachschrittantworten auf diese Anker wird das Modell dazu angeregt, seine Argumentation an aktuelle Informationen anzupassen und die Kontextinertie zu überwinden.

Experimentelle Ergebnisse zeigen, dass RLSTA die Leistung deutlich über herkömmliche Feinabstimmungs- und Abstimmungsansätze hinaus steigert. Besonders beeindruckend ist die starke Übertragbarkeit auf verschiedene Domänen, etwa von mathematischen Aufgaben zu Programmieraufgaben, und die Effektivität ohne externe Prüfer. Diese Eigenschaften machen RLSTA zu einem vielversprechenden Ansatz für Anwendungen, die robuste Mehrfachschrittinteraktionen erfordern.

Die vorgestellte Technik eröffnet neue Perspektiven für die Entwicklung von Sprachmodellen, die nicht nur in einzelnen Interaktionen, sondern auch in fortlaufenden Dialogen zuverlässig und anpassungsfähig bleiben. Damit wird ein wichtiger Schritt in Richtung allgemein einsetzbarer KI-Systeme getan, die kontinuierlich lernen und ihre Entscheidungen aktualisieren können.