Quantisierung von SNNs: Genauigkeit reicht nicht – Verhalten muss erhalten

Die Quantisierung von Spiking Neural Networks (SNNs) reduziert nicht nur Speicherbandbreite und Rechenaufwand, sondern ist auch ein entscheidender Schritt, um diese netzwerke auf ressourcenbeschränkten Geräten einzusetzen. Bisher wurde die Leistung von quantisierten SNNs fast ausschließlich an der Genauigkeit gemessen, während die eigentliche Firing‑Verteilung – also wie oft Neuronen feuern – kaum beachtet wurde.

In einer neuen Studie zeigen die Autoren, dass Quantisierungsmethoden, Clipping‑Bereiche und Bitbreiten zu stark unterschiedlichen Firing‑Verteilungen führen können, obwohl die Genauigkeit gleich bleibt. Diese Unterschiede bleiben bei herkömmlichen Metriken verborgen, sind aber für die Praxis entscheidend, denn die Firing‑Aktivität bestimmt die effektive Sparsity, den Speicherbedarf für Zustände und die Last bei der Ereignisverarbeitung.

Um diese Lücke zu schließen, schlagen die Forscher den Earth Mover’s Distance (EMD) als Diagnosewerkzeug vor, das die Divergenz der Firing‑Verteilungen quantifiziert. Sie wenden EMD systematisch auf Gewicht- und Membran‑Quantisierung in SEW‑ResNet‑Architekturen an, die auf den Datensätzen CIFAR‑10 und CIFAR‑100 trainiert wurden.

Die Ergebnisse sind eindeutig: Eine uniforme Quantisierung führt zu einer signifikanten Drift der Firing‑Verteilung, selbst wenn die Genauigkeit erhalten bleibt. Im Gegensatz dazu bewahrt ein lernbasiertes Quantisierungsschema nach LQ‑Net‑Stil das Firing‑Verhalten nahezu identisch mit dem Vollpräzisionsmodell.

Die Studie betont, dass die Erhaltung des neuronalen Verhaltens ein ebenso wichtiges Bewertungskriterium wie die Genauigkeit sein sollte. Der EMD bietet dabei ein robustes, theoretisch fundiertes Mittel, um diese Eigenschaft zu messen und zu optimieren.