IMU-1: Mit 72 B Tokens ein kleines Modell, das große Konkurrenz schlägt

Ein neues Sprachmodell namens IMU‑1, das mit nur 430 Mio. Parametern und 72 B Tokens trainiert wurde, erreicht Leistungen, die bisher nur bei Modellen mit 56‑fach mehr Daten erzielt wurden. Die Entwickler haben eine sorgfältig validierte Trainingsmethode entwickelt, die moderne architektonische Neuerungen mit fortschrittlichen Optimierungstechniken kombiniert.

Zu den architektonischen Highlights zählen QK‑Norm‑Attention, per‑Head‑Gating, Value‑Residuals und LayerNorm‑Scaling. Auf der Optimierungsseite setzt das Team auf NorMuon mit vorsichtigem Weight‑Decay, die muP‑Parametrisierung sowie einen dreistufigen Trainingsplan, der nach Abschluss eine EMA‑Checkpoint‑Verfeinerung nutzt.

Für jede dieser Komponenten wurden Ablationsstudien durchgeführt, um die Wirkung einzelner Verbesserungen zu belegen. Das gesamte Reproduktionspaket – Code, Gewichte und Trainingsdaten – wird öffentlich zugänglich gemacht, sodass Forscher und Entwickler die Ergebnisse nachvollziehen und weiterentwickeln können.

Weitere Informationen sowie der Zugang zu Code, Gewichten und Daten finden Sie unter https://huggingface.co/thepowerfuldeez/imu1_base.