HDPO: Privilegierte Selbst‑Distillation steigert KI bei mathematischer Problemlösung

Ein neues arXiv‑Paper präsentiert Hybrid Distillation Policy Optimization (HDPO), eine Methode, die das klassische Reinforcement‑Learning (RL) für mathematische KI‑Modelle um ein cleveres Distillations‑Schritt erweitert. Durch die gezielte Behandlung von „Cliff‑Prompts“ – Aufgaben, bei denen das Modell komplett scheitert und der RL‑Gradient verschwindet – schafft HDPO einen Lernpfad, der bisherige Grenzen sprengt.

HDPO arbeitet Schritt für Schritt: Zunächst erkennt es Prompts, bei denen sämtliche Rollouts fehlschlagen. Anschließend erzeugt es privilegierte Rollouts, indem dem Modell die korrekte Lösung als Ground‑Truth zur Verfügung gestellt wird. Nach einer Filterung der richtigen Lösungen wird die token‑weise Verteilung des „Lehrers“ – identisch zum Schüler, aber mit zusätzlicher Information – in das „Schüler“-Modell überführt. Da Lehrer und Schüler dieselben Gewichte teilen, bleibt die Realisierbarkeit eng begrenzt, was bei herkömmlicher Cross‑Model‑Distillation nicht gewährleistet ist.

Die Autoren zeigen theoretisch, dass bei einer Filterrate von R = 1 die privilegierte Generation exakt die optimale KL‑regularisierte RL‑Policy im harten Schwellenwert‑Limit reproduziert. Diese mathematische Fundierung unterstreicht die Stabilität und Effektivität der Methode.

In praktischen Tests auf OpenMathInstruct‑2 mit dem Modell Qwen2.5‑Math‑1.5B‑Instruct verzeichnet HDPO konsistente Verbesserungen der Abdeckungsmetriken: pass@4 steigt um 0,8 % bis 1,1 % und pass@8 um 0,4 % bis 1,7 %. Gleichzeitig bleibt die Greedy‑Genauigkeit unverändert. Der Distillations‑Gewichtungsparameter λ ermöglicht dabei eine direkte Steuerung des Exploration‑Exploitation‑Tradeoffs, sodass Entwickler flexibel auf unterschiedliche Einsatzszenarien reagieren können.