Aktives Imitation Learning erhöht Sicherheit bei LFM‑Inference auf 3D‑S-NUCA

Die Ausführung von Large Foundation Models (LFMs) erfordert enorme Speicher- und Rechenressourcen. Traditionell werden dafür GPUs eingesetzt, doch deren begrenzte Verfügbarkeit und hohe Kosten treiben die Forschung in Richtung leistungsfähiger CPUs, insbesondere der neuartigen 3D‑gestapelten Static Non‑Uniform Cache Architecture (3D S‑NUCA). Diese Systeme bieten höhere Bandbreiten und bessere Lokalität, bringen jedoch erhebliche thermische Probleme und ungleichmäßige Cache‑Latenzen durch die 3D‑Netzwerke-on-Chip (NoC) mit sich.

Die optimale Steuerung von Thread‑Migration und V/f‑Skalierung gestaltet sich schwierig, weil LFMs unterschiedliche Kernel‑Dynamiken aufweisen und die Hardware selbst heterogen ist. Aktuelle thermische Management‑Ansätze beruhen häufig auf stark vereinfachten Modellen und zeigen wenig Anpassungsfähigkeit.

Um diesen Herausforderungen zu begegnen, wurde AILFM entwickelt – ein Active‑Imitation‑Learning‑basiertes Scheduling‑Framework. AILFM lernt nahezu optimale, thermisch‑bewusste Scheduling‑Strategien aus Demonstrationen eines Oracle‑Satzes und erreicht dabei nur minimalen Laufzeit‑Overhead. Das System berücksichtigt sowohl die Leistungsheterogenität der Kerne als auch das spezifische Verhalten der LFM‑Kernel, um die thermische Sicherheit zu gewährleisten und gleichzeitig die Performance zu maximieren.

Umfangreiche Experimente zeigen, dass AILFM die führenden Baselines übertrifft und sich robust über verschiedene LFM‑Workloads hinweg bewährt. Damit eröffnet AILFM einen vielversprechenden Weg, die Effizienz von LFM‑Inference auf 3D‑S‑NUCA‑Prozessoren signifikant zu steigern, ohne dabei die thermische Stabilität zu gefährden.