Kalibrierung im RL neu belebt: Trennung von Logik und Vertrauen

Reinforcement Learning from Verifiable Rewards (RLVR) hat die Fähigkeit großer Sprachmodelle, komplexe Probleme zu lösen, deutlich verbessert – doch gleichzeitig taucht ein ernstes Problem auf: die Modelle werden übermäßig zuversichtlich, selbst wenn ihre Antworten falsch sind. Dieses Phänomen, bekannt als Kalibrierungsdegeneration, gefährdet die Zuverlässigkeit von LLMs in praktischen Anwendungen.

Frühere Ansätze versuchten, die Kalibrierung direkt in die Optimierungsziele einzubinden. Unsere theoretische Analyse hat jedoch gezeigt, dass hier ein fundamentaler Gradientenkonflikt entsteht: die Streben nach maximaler Genauigkeit kollidiert mit dem Bemühen, die Kalibrierungsfehler zu minimieren. Dieser Konflikt führt dazu, dass Modelle entweder zu genau oder zu übermäßig selbstsicher werden.

Auf Basis dieser Erkenntnis stellen wir DCPO vor – ein schlankes, aber wirkungsvolles Framework, das die Aufgaben des Logik- und des Vertrauens-Optimierens systematisch trennt. Durch diese Trennung können die beiden Ziele gleichzeitig verfolgt werden, ohne dass sie sich gegenseitig behindern.

Umfangreiche Experimente zeigen, dass DCPO die Genauigkeit von RLVR auf dem Niveau von GRPO hält, gleichzeitig aber die Kalibrierung deutlich verbessert und das Übervertrauen der Modelle stark reduziert. Diese Ergebnisse liefern wertvolle Einblicke und einen praktischen Ansatz, um die Zuverlässigkeit von LLMs in realen Einsatzszenarien zu erhöhen.