AE-LLM: Automatisierte Effizienzoptimierung für große Sprachmodelle

Large Language Models (LLMs) haben in den letzten Jahren enorme Fortschritte erzielt, doch ihre Nutzung bleibt wegen hoher Rechen-, Speicher- und Energieanforderungen oft unpraktisch.

Einzig ein Effizienzverfahren reicht nicht aus – die Wirksamkeit von Techniken wie effiziente Aufmerksamkeitsmechanismen, Mixture‑of‑Experts, parameter‑effizientes Fine‑Tuning und Quantisierung hängt stark von Aufgabe, Ressourcen und Modellgröße ab.

AE‑LLM bietet ein einheitliches Framework, das automatisch die besten Kombinationen dieser Techniken auswählt. Durch ein mehrzieliges Optimierungsmodell, das Genauigkeit, Latenz, Speicherbedarf und Energieverbrauch berücksichtigt, und einen effizienten Suchalgorithmus, der den kombinierten Lösungsraum durchsucht, werden Pareto‑optimale Konfigurationen gefunden.

In umfangreichen Tests mit 15 Modellen (0,5 B–70 B Parameter) und 10 unterschiedlichen Aufgaben erzielte AE‑LLM durchschnittlich eine 2,8‑fachere Effizienzsteigerung, während die Genauigkeit innerhalb von 1,2 % des Baselines blieb. Das System funktioniert gleichermaßen gut für Vision‑Language‑Modelle.