RePULSe: Neue Methode reduziert unerwünschte Ausgaben von Sprachmodellen
In der aktuellen Forschung zur Ausrichtung von Sprachmodellen auf menschliche Präferenzen wird Reinforcement Learning (RL) häufig eingesetzt, um die durchschnittliche Belohnung zu maximieren. Dabei kann die Reduktion von unerwünschten Ausgaben jedoch zu Lasten der durchschnittlichen Leistung gehen.
Die neue Technik namens RePULSe erweitert das klassische RL-Verfahren um einen zusätzlichen Verlustterm. Dieser nutzt lernte Vorschläge, um gezielt Ausgaben mit niedriger Belohnung zu sampeln und deren Wahrscheinlichkeit anschließend zu senken. Auf diese Weise wird das Gleichgewicht zwischen erwarteter Belohnung und Auftreten unerwünschter Ergebnisse verbessert.
Experimentelle Ergebnisse zeigen, dass RePULSe einen besseren Kompromiss zwischen durchschnittlicher Belohnung und der Wahrscheinlichkeit unerwünschter Ausgaben erzielt und gleichzeitig widerstandsfähiger gegen adversariale Angriffe ist als herkömmliche RL‑Ausrichtungsansätze und andere Alternativen.