LoRA und Fourier-Regularisierung verbessern Code‑Generierung in mehreren Sprachen

In modernen Unternehmensumgebungen, in denen mehrere Programmiersprachen gleichzeitig eingesetzt werden, ist die Fähigkeit, Code in verschiedenen Sprachen zu generieren, von entscheidender Bedeutung. Das neue Papier untersucht, ob parameter‑effiziente Feinabstimmungsverfahren und verbesserte Optimierer die cross‑linguale Übertragung von Python auf Sprachen wie Java beschleunigen können.

Die Autoren haben das Code Llama 7B-Modell mit Low‑Rank‑Adaptation (LoRA) feinabgestimmt, um nur einen kleinen Teil der Parameter zu optimieren. Dabei wurden die Optimierer Adam und Sophia verglichen und eine neuartige Fourier‑basierte Regularisierung eingeführt. Die Ergebnisse zeigen, dass LoRA auf einem kleinen, hochwertigen Datensatz (MBPP) die Pass@1‑Leistung von 40,1 % übertrifft, während das breiter feinabgestimmte Code Llama‑Python‑7B-Modell 38,4 % erreichte.

Obwohl Sophia schneller konvergiert als Adam, sind die Endergebnisse in Bezug auf Pass@1 nahezu identisch. Besonders beeindruckend ist die Fourier‑basierte Regularisierung, die die cross‑linguale Transferleistung deutlich steigert: Auf Java‑Aufgaben erreichte das Modell 42,1 % Pass@1, verglichen mit 34,2 % bei der Basisvariante. Diese Befunde legen nahe, dass die Kombination aus LoRA, optimierten Trainingsmethoden und Frequenz‑Domain‑Regularisierung eine effiziente Anpassung von einsprachigen LLMs an mehrere Programmiersprachen ermöglicht.