SliderQuant: Präzise Post-Training-Quantisierung für große Sprachmodelle
In einer neuen Studie auf arXiv wird ein innovativer Ansatz zur Post-Training-Quantisierung (PTQ) von großen Sprachmodellen (LLMs) vorgestellt. Der Autor kritisiert die bisher vorherrschende Praxis, bei der alle Schicht…