Neuer Offline-RL-Algorithmus STOMP optimiert mehrere Ziele gleichzeitig

Forscher haben einen innovativen Offline-Reinforcement-Learning-Ansatz entwickelt, der große Sprachmodelle nicht nur an ein einzelnes Ziel, sondern gleichzeitig an mehrere widersprüchliche Belohnungen anpasst. Durch die Nutzung kleiner, gelabelter Datensätze können Modelle wie Chatbots sowohl hilfreich als auch harmlos werden oder in der Protein‑Engineering‑Forschung gleichzeitig hohe Aktivität und Spezifität erreichen.

Der Schlüssel liegt in der sogenannten Smooth Tchebysheff‑Scalarisierung, die die klassische lineare Belohnungsgewichtung ersetzt. Während lineare Methoden bekannte Schwächen bei der Erfassung nicht‑konvexer Bereiche der Pareto‑Front besitzen, ermöglicht die neue Technik eine umfassendere Optimierung aller Ziele. Das Ergebnis ist STOMP – ein Offline‑RL‑Algorithmus, der die individuellen Belohnungen anhand ihrer beobachteten Verteilungen standardisiert und so eine robuste, mehrzielige Präferenzoptimierung realisiert.

In umfangreichen Experimenten mit drei autoregressiven Protein‑Sprachmodellen und drei Labor‑Datensätzen zeigte STOMP die höchste Hypervolumen‑Leistung in acht von neun Testfällen. Sowohl offline off‑policy‑ als auch generative Evaluierungen bestätigten die Überlegenheit gegenüber aktuellen Baselines. Damit demonstriert STOMP, dass multi‑objective Alignment in der Praxis nicht nur machbar, sondern auch deutlich effektiver ist als bisherige Ansätze.