Neue Methode für kompakte japanische Sprachmodelle: Skalierung, Architektur, Quantisierung

Ein neues, systematisches Verfahren zur Entwicklung domänenspezifischer, kleiner japanischer Sprachmodelle wurde vorgestellt. Durch den Einsatz von QLoRA-Fine‑Tuning werden drei zentrale Fragen beantwortet: die optimale Trainingsgröße, die Auswahl des Basismodells und die architekturbewusste Quantisierung.

In der ersten Phase wurden Trainingsgrößen von 1.000 bis 5.000 Beispielen getestet. Die optimale Stichprobengröße ergab sich bei 4.000, bei der die Test‑Set‑NLL den Minimalwert von 1,127 erreichte, bevor bei 5.000 Beispielen ein Over‑Fitting auftrat.

Die zweite Phase verglich vier japanische LLMs. Dabei zeigten Llama‑3‑Modelle, die mit japanischem kontinuierlichem Pre‑Training (Swallow‑8B, ELYZA‑JP‑8B) ausgestattet sind, deutlich bessere Leistungen als die mehrsprachigen Modelle (Qwen2.5‑7B).

In der dritten Phase wurde die Quantisierung untersucht. Llama‑3‑Architekturen verbesserten sich unter Q4_K_M, während GQA‑Architekturen stark nachließen (Qwen2.5 sank um 0,280 Punkte). Für den produktiven Einsatz empfiehlt sich Swallow‑8B in Q4_K_M, das einen Score von 2,830/3 erzielt, 8,9 s pro Frage benötigt und mit 4,9 GB Speichergröße kompakt bleibt. Die Methodik lässt sich auf technische Low‑Resource‑Domänen übertragen und liefert praxisnahe Anleitungen für kompakte japanische Spezial‑LMs auf Consumer‑Hardware.