Erfolgreiche unabhängige Reproduktion der gpt‑oss‑20b‑Performance

Wissenschaftler haben erstmals die von OpenAI veröffentlichten Ergebnisse des Modells gpt‑oss‑20b selbst reproduziert, obwohl die ursprüngliche Arbeit weder die verwendeten Tools noch die Agenten-Architektur offengelegt hat.

Durch Reverse Engineering konnten die Forscher die in‑Distribution‑Tools des Modells identifizieren. Sie stellten fest, dass gpt‑oss auch ohne explizite Tool‑Definitionen stark auf seine Trainingswerkzeuge zurückgreift, was auf ein tief verwurzeltes Prior hinweist und nicht auf Halluzinationen.

Anschließend entwickelte das Team einen nativen „Harmony Agent Harness“, der Nachrichten im ursprünglichen Format des Modells kodiert und so die verlustbehaftete Chat‑Completion‑Umwandlung umgeht. Die Kombination aus Tool‑Erkennung und dem neuen Harness ermöglichte die erste unabhängige Reproduktion der OpenAI‑Scores.

Die Ergebnisse liegen nahe an den veröffentlichten Zahlen: 60,4 % bei SWE Verified HIGH (publiziert 60,7 %), 53,3 % bei MEDIUM (publiziert 53,2 %) und 91,7 % bei AIME25 mit Tools (publiziert 90,4 %). Diese Erfolge unterstreichen die Leistungsfähigkeit von gpt‑oss‑20b und zeigen, dass die Community die Modelle nachvollziehbar und reproduzierbar nutzen kann.