DDPO: Reduziert Antwortlänge, steigert Genauigkeit bei großen Rechenmodellen

Große Rechenmodelle für logisches Denken zeigen beeindruckende Fähigkeiten, leiden jedoch häufig unter „Overthinking“. Dabei erzeugen sie unnötig lange und redundante Antworten. Gleichzeitig kann das Modell bei Aufgaben, die über seine Kapazität hinausgehen, übermäßig zuversichtlich sein und zu kurze, fehlerhafte Antworten liefern, was die Gesamtleistung beeinträchtigt.

Um diese Probleme zu lösen, wurde die Difficulty‑Differentiated Policy Optimization (DDPO) entwickelt. Der Ansatz trennt einfache und komplexe Aufgaben und optimiert sie getrennt. Für einfache Aufgaben wird die Ausgabelänge reduziert, ohne die Genauigkeit zu beeinträchtigen, während bei komplexen Aufgaben der Suchraum erweitert wird, um die Leistung zu verbessern. Theoretisch muss die Länge der Antworten einer optimalen Verteilung folgen und möglichst konzentriert sein. DDPO nutzt den durchschnittlichen Schwierigkeitsgrad als verlässliche Referenz, um die Länge zu steuern.

Umfangreiche Tests auf in‑ und out‑of‑Domain‑Benchmarks zeigen, dass DDPO gegenüber dem Vergleichsverfahren GRPO die durchschnittliche Antwortlänge um 12 % senkt und die Genauigkeit um 1,85 % steigert. Damit liefert DDPO einen deutlich besseren Kompromiss zwischen Präzision und Kürze. Der zugehörige Code ist unter https://github.com/Yinan-Xia/DDPO verfügbar.