IREE erweitert RISC‑V‑Support: Schnellere GenAI‑Workloads dank neuer Microkernels

Das neueste Update von IREE, dem MLIR‑basierten Compiler und Laufzeit für maschinelles Lernen, bringt erstmals vollständigen RISC‑V‑Microkernel‑Support. Durch die gezielte Umwandlung von MLIR‑Linalg‑Kernkontraktionsoperationen in die linalg.mmt4d‑Operation für die RISC‑V64‑Architektur wird die Pass‑Pipeline von IREE erweitert. Anschließend wurden speziell optimierte Microkernels für RISC‑V entwickelt, die die Ausführungsgeschwindigkeit signifikant erhöhen.

Bei Leistungstests mit dem Llama‑3.2‑1B‑Instruct‑Modell zeigte die neue Implementierung deutliche Verbesserungen gegenüber der Standard‑IREE‑Version und sogar gegenüber Llama.cpp. Die Ergebnisse deuten darauf hin, dass RISC‑V‑basierte Systeme künftig eine attraktive Option für schnelle Generative‑AI‑Workloads darstellen.