ZorBA: Federiertes Feintuning von LLMs ohne Gradienten – VRAM und Kommunikation optimiert

In der Welt der großen Sprachmodelle (LLMs) eröffnet federiertes Feintuning die Möglichkeit, Modelle über verteilte Clients hinweg gemeinsam zu optimieren. Doch die enorme Größe der Modelle führt zu hohen VRAM-Anforderungen und einem beträchtlichen Kommunikationsaufwand, wenn Modelle regelmäßig ausgetauscht werden.

Die neue Methode ZorBA löst diese Probleme, indem sie zeroth-order Optimierung einsetzt. Dadurch werden an den Clients keine Gradienten gespeichert – stattdessen genügt ein reiner Forward‑Pass. Zusätzlich nutzt ZorBA einen heterogenen Block‑Aktivierungsmechanismus: Der zentrale Server weist jedem Client unterschiedliche Untergruppen von Transformer‑Blöcken zu. Das beschleunigt die Konvergenz und senkt gleichzeitig den VRAM-Verbrauch.

Um die Kommunikation weiter zu reduzieren, setzt ZorBA auf gemeinsam geteilte Zufalls­seed‑Werte und die Berechnung von Gradienten­unterschieden über Finite‑Differenzen. Theoretische Analysen zeigen, wie Block‑Aktivierungsentscheidungen die Konvergenzrate und den VRAM‑Verbrauch beeinflussen. Auf dieser Basis formuliert das System ein Optimierungsproblem, das mit einem ε‑Constraint‑Lexikografischen Algorithmus gelöst wird.

Experimentelle Ergebnisse belegen, dass ZorBA im Vergleich zu drei bestehenden federierten Feintuning‑Baselines die VRAM‑Nutzung um bis zu 62,41 % senken kann, während der Kommunikationsaufwand minimal bleibt. Damit bietet ZorBA einen vielversprechenden Ansatz für ressourcenschonendes, verteiltes Training großer Sprachmodelle.