DAPA: Schnellere, ressourcenschonende Aktivierungsfunktionen für Transformer

DAPA (Distribution‑Aware Piecewise Activation) ist eine neue, differenzierbare Aktivierungsfunktion, die speziell für Transformer‑Modelle entwickelt wurde. Sie nutzt die Verteilung der Vor‑Aktivierungsdaten, um die Rechenlast auf mobilen Geräten zu reduzieren und gleichzeitig die Energieeffizienz zu steigern.

Im Gegensatz zu herkömmlichen linearen Stückweise‑Annäherungen teilt DAPA die Aktivierungsfunktion ungleichmäßig auf. Größere Segmente werden dort eingesetzt, wo die Datenhäufigkeit hoch ist, wodurch die Approximation in den wichtigsten Bereichen feiner wird. Diese gezielte Aufteilung erhöht die Generalisierbarkeit und sorgt dafür, dass die Modelle besser mit realen Daten umgehen können.

Eine Hardware‑Level‑Synthesis‑Implementierung von DAPA zeigt beeindruckende Ergebnisse: Die Berechnung der GELU‑Funktion wird um das 16‑fache beschleunigt, während der DSP‑Verbrauch ebenfalls um 16‑fache reduziert wird. Trotz dieser Einsparungen bleibt die Modellleistung bei Vision‑Transformern und GPT‑2‑Modellen gleich oder sogar besser als bei herkömmlichen Aktivierungsfunktionen.