KI-Modelle komprimieren Gedanken: neue RL‑Methode senkt Tokenverbrauch

In der KI‑Forschung hat die Chain‑of‑Thought‑Technik (CoT) die Zuverlässigkeit von Sprachmodellen deutlich erhöht, indem sie die Modelle dazu bringt, ihre Überlegungen Schritt für Schritt zu formulieren. Dieser Ansatz hat jedoch einen Preis: Die erzeugten Token‑Ketten werden deutlich länger, was die Kosten für Speicherung und Verarbeitung erhöht. Deshalb suchen Entwickler nach Wegen, die expliziten Denkprozesse nach dem Training zu komprimieren, ohne die Qualität der Antworten zu verlieren.

Ein Problem dabei ist, dass die optimale Länge der Überlegungen nicht einheitlich ist. Sie hängt von der Schwierigkeit der Aufgabe, der Kapazität des Modells und seinem Trainingszustand ab. Ein fester Längen­limit führt daher oft zu ungenügender oder überflüssiger Information. Zudem kann ein einfaches Reinforcement‑Learning‑Ansatz dazu führen, dass die eigentliche Antwort zu stark verkürzt wird, weil das Lernsignal nicht klar zwischen Denk‑ und Antwort‑Bereich getrennt ist.

Die neue Methode namens Difficulty‑Scaled Segment‑Wise GRPO (DSS‑GRPO) löst diese Probleme, indem sie die Belohnungen in zwei Teile zerlegt: einen für die Denkphase und einen für die Antwortphase. Für jedes Segment werden gruppenbezogene Vorteile berechnet und mit harten Token‑Masken versehen, sodass die Komprimierungsupdates ausschließlich die Denkphase beeinflussen, während die Antwortphase nur durch ein separates Alignment‑Signal gesteuert wird. Zusätzlich nutzt DSS‑GRPO ein prompt‑weises Shaping innerhalb der Gruppe und eine schwierigkeitssensitive Skalierung, um die Modelle zu ermutigen, prägnante Überlegungen zu generieren, ohne die Antwortqualität zu beeinträchtigen.

Durch diese gezielte Trennung der Lernziele kann DSS‑GRPO die Token‑Kosten erheblich senken, während die Zuverlässigkeit und Genauigkeit der generierten Antworten erhalten bleibt. Die Technik eröffnet damit neue Möglichkeiten für ressourcenschonende KI‑Anwendungen, die gleichzeitig hohe Rechenleistung und präzise Antworten liefern.