LLM-gestützte Moleküloptimierung: Neue Methode RePO steigert Effizienz

In der Forschung zu großen Sprachmodellen (LLMs) hat sich gezeigt, dass klassische Techniken wie supervised fine‑tuning (SFT) und reinforcement learning mit verifizierbaren Belohnungen (RLVR) bei Rechenaufgaben hervorragend funktionieren. Bei der molekularen Optimierung, bei der jede Datenprobe meist nur ein einzelnes Referenzmolekül liefert und keine Schritt‑für‑Schritt‑Trajektorie vorliegt, stoßen diese Ansätze jedoch an ihre Grenzen.

Die Autoren des neuen Ansatzes, Reference‑guided Policy Optimization (RePO), haben die Schwächen von SFT und RLVR identifiziert: Antwort‑nur‑SFT führt zu einer Zusammenfassung des Denkprozesses, während RLVR unter den strengen Ähnlichkeitsbeschränkungen nur selten Feedback gibt, weil das Modell kaum neue Moleküle erkundet. RePO kombiniert gezielte Exploration mit gezielter Referenzführung. Bei jedem Update generiert das Modell Kandidatenmoleküle zusammen mit ihren Zwischenschritten, bewertet sie mit verifizierbaren Belohnungen, die die Erfüllung von Eigenschaften unter Ähnlichkeitsbedingungen messen, und trainiert gleichzeitig die Endantwort in einer überwachten Weise, wobei die Zwischenschritte als Kontext dienen.

Durch diese Kombination aus explorativem Reinforcement Learning und stabilisierendem Referenz‑Guiding gelingt es RePO, die Lernrate zu erhöhen und die Belohnungssparsheit zu überwinden. In einer Reihe von Benchmark‑Tests über molekulare Optimierungsaufgaben übertrifft RePO sowohl SFT als auch RLVR konsequent, was einen bedeutenden Fortschritt für die KI‑gestützte Wirkstoffentwicklung darstellt.