NeuronSpark: Spiking Neural Network Modell mit 0,9 B Parametern im Dialog

Neurospark ist ein neues Spiking Neural Network (SNN), das mit 0,9 Milliarden Parametern ein reines, neuronales Sprachmodell darstellt. Im Gegensatz zu herkömmlichen Transformer‑Architekturen wird das Modell ohne Distillation aus einem Transformer trainiert – es lernt direkt aus einer zufälligen Initialisierung.

Das Training erfolgt über Next‑Token‑Prediction unter Einsatz von Surrogat‑Gradienten. Neuartige Komponenten wie selektive State‑Space‑Spiking‑Dynamics, Leckstrom‑basierte Inter‑Layer‑Kommunikation, adaptive Zeitschritte von PonderNet sowie fusionierte Triton‑PLIF‑Kernels sorgen für effiziente und stabile Lernprozesse. Zusätzlich werden Residual‑Centering, laterale‑Inhibition‑Normalisierung und natürliche‑Gradient‑Kompenzation eingesetzt, um die Stabilität weiter zu erhöhen.

Mit einem begrenzten Budget von rund 1,4 Milliarden Pretraining‑Tokens und 6.500 SFT‑Schritten erreicht NeuronSpark-0,9B einen Pretraining‑Loss von 3,6. Nach dem SFT zeigt das Modell bereits frühe Mehr‑Runden‑Dialogfähigkeiten, was die Machbarkeit von end‑to‑end Sprachmodellen auf reiner SNN‑Basis in diesem Größenmaßstab bestätigt.