BatCoder: Selbstüberwachtes Lernen von Code und Dokumentation via Back-Translation

Die neueste Veröffentlichung von BatCoder eröffnet einen innovativen Ansatz für das Training von Sprachmodellen in der Programmierung. Durch die Kombination von selbstüberwachtem Lernen und Reinforcement Learning nutzt das System eine Back‑Translation‑Strategie, um gleichzeitig Code‑Generierung und Dokumentationsschreibung zu optimieren.

Im Kern erzeugt BatCoder zunächst aus einem Code‑Snippet eine Dokumentation. Anschließend wird diese generierte Dokumentation verwendet, um den ursprünglichen Code wiederherzustellen. Der semantische Unterschied zwischen dem Original‑ und dem rekonstruierten Code dient als implizite Belohnung, die das Modell im Reinforcement‑Learning‑Loop weiter verbessert. Auf diese Weise kann das System ausschließlich mit Code‑Daten trainiert werden, ohne dass hochwertige Code‑Dokumentationspaare erforderlich sind.

Die Ergebnisse sprechen für sich: Auf den Benchmark‑Sätzen HumanEval und MBPP erzielte ein 7‑Billionen‑Parameter‑Modell Pass‑@1‑Raten von 83,5 % bzw. 81,0 %. Damit übertrifft BatCoder führende Open‑Source‑Baselines und demonstriert gleichzeitig eine robuste Skalierbarkeit in Bezug auf die Größe des Trainingskorpus und die Kapazität des Modells.

Insgesamt zeigt BatCoder, dass selbstüberwachtes Lernen in Kombination mit Back‑Translation ein vielversprechender Weg ist, um die Leistungsfähigkeit von Code‑LLMs zu steigern und gleichzeitig die Abhängigkeit von teuren, kuratierten Daten zu reduzieren.