Neues RL-Verfahren ermöglicht LLMs, sich selbst zu verbessern
In einer kürzlich veröffentlichten Studie auf arXiv wird ein innovatives Reinforcement‑Learning‑Verfahren namens Exploratory Iteration (ExIt) vorgestellt, das große Sprachmodelle (LLMs) dazu befähigt, sich während der Inferenz selbst zu optimieren. Statt einer festen, oft unnötig hohen Iterationsgrenze nutzt ExIt die wiederkehrende Struktur von Selbstverbesserungsaufgaben, um LLMs gezielt auf die wichtigsten Einzelschritte zu trainieren.
Das Verfahren erweitert den Aufgabenraum, indem es selektiv die informativsten Zwischenschritte aus einem laufenden Episode-Dialog auswählt und diese als neue Selbstverbesserungsaufgaben behandelt. Auf diese Weise lernt das Modell, aus vergangenen Versuchen zu lernen und bei neuen Aufgaben schneller bessere Lösungen zu finden. Durch die Kombination mit expliziten Explorationsmechanismen kann ExIt zudem die Vielfalt der Aufgaben erhöhen.
In mehreren Testdomänen – darunter Wettbewerbsmathematik, mehrstufige Tool‑Nutzung und maschinelles Lern‑Engineering – zeigte sich, dass ExIt‑Strategien sowohl aus einer einzelnen als auch aus mehreren Ausgangsaufgaben heraus starke Selbstverbesserungsfähigkeiten entwickeln. Die Modelle konnten nicht nur bei unbekannten Aufgaben die Leistung steigern, sondern auch über die durchschnittliche Trainingsiteration hinaus iterativ höhere Ergebnisse erzielen.