ELMoE-3D: Elastische MoE-Architektur beschleunigt On-Premises-Serving

Die Mixture-of-Experts (MoE)-Architektur ist heute die führende Technologie für große Sprachmodelle. In On‑Premises‑Umgebungen stößt sie jedoch an Speichergrenzen: Durch Batch‑Verarbeitung wird die sonst spärliche Token‑Rechenlast in dichte Speicheraktivierungen umgewandelt, wodurch die Rechenleistung nicht optimal genutzt wird.

Speicherzentrierte Ansätze wie PIM oder NMP erhöhen die Bandbreite, lassen aber die Rechenleistung bei MoE‑Modellen unterausgelastet, weil deren arithmetische Intensität bei hohen Batch‑Größen gering bleibt. Spekulatives Decoding (SD) versucht, leere Rechenzyklen zu nutzen, doch die Notwendigkeit, Experten für abgelehnte Tokens zu laden, begrenzt den Nutzen, insbesondere bei kleinen Batches.

ELMoE‑3D löst diese Probleme mit einem hybriden Bonding (HB) basierten HW‑SW‑Co‑Design. Durch die gleichzeitige Skalierung zweier elastischer Achsen – der MoE‑Experten und der Bit‑Schichten – entsteht Elastic Self‑Speculative Decoding (Elastic‑SD). Diese Technik fungiert als Expert‑Cache und als stark ausgerichtetes Self‑Draft-Modell, das von der hohen HB‑Bandbreite profitiert. Die LSB‑augmentierte bit‑sliced Architektur nutzt die inhärente Redundanz in Bit‑Slice‑Darstellungen, um bit‑nested Ausführung nativ zu unterstützen.

Auf einer 3D‑gestapelten Hardware demonstriert ELMoE‑3D einen durchschnittlichen Geschwindigkeitszuwachs von 6,6‑fach und eine Energieeffizienzsteigerung von 4,4‑fach gegenüber einer naiven MoE‑Serving‑Implementierung auf xPU bei Batch‑Größen von 1 bis 16. Im Vergleich zum besten bisherigen Accelerator-Baseline erzielt das System zudem einen 2,2‑fachen Geschwindigkeitszuwachs und eine 1,4‑fachere Energieeffizienz.