Automatisierte Optimierung beschleunigt Sparse Attention in Transformers

Ein neues arXiv‑Veröffentlichung (2603.18417v1) präsentiert AFBS‑BO, ein vollständig automatisiertes Verfahren zur Hyperparameteroptimierung von Sparse‑Attention‑Mechanismen. Diese Technik adressiert das zentrale Problem, dass optimale Einstellungen für einzelne Layer und Köpfe stark variieren und bisher meist durch aufwändige manuelle Grid‑Search‑Suchen ermittelt werden mussten.

AFBS‑BO kombiniert Bayesian Optimization für die globale Exploration mit einer binären Suche zur lokalen Verfeinerung. Durch die Nutzung von Multi‑Fidelity‑Bewertungen über unterschiedliche Sequenzlängen kann die Anzahl der erforderlichen Evaluierungen drastisch reduziert werden. Das hybride Vorgehen ermöglicht eine effiziente Suche nach sparsamen Konfigurationen, die gleichzeitig die Qualität der dichten Attention beibehalten.

In praktischen Tests auf dem Llama‑2‑7B Modell beschleunigt AFBS‑BO die Hyperparameter‑Entdeckung um das 3,4‑fache und benötigt 8,8‑mal weniger Evaluierungen als herkömmliche Grid‑Search‑Methoden. Die gefundenen sparsamen Einstellungen übertreffen bestehende Sparse‑Attention‑Baselines und liefern Ergebnisse, die dicht an der Leistung von dichten Attention‑Modellen liegen.

Durch die Umwandlung von Sparse Attention in ein selbstoptimierendes Bauteil eröffnet AFBS‑BO die Möglichkeit, Plug‑and‑Play‑Beschleunigungen in verschiedensten Transformer‑Architekturen und Anwendungsdomänen zu realisieren. Damit wird ein entscheidender Schritt in Richtung breiterer Produktionseinsatzmöglichkeiten von sparsamen Attention‑Modellen erreicht.