tLoRA: Effizientes Multi-LoRA-Training mit elastischen Shared Super-Modellen

In der Welt der großen Sprachmodelle (LLMs) hat sich die Low‑Rank‑Adaptation (LoRA) als Standardverfahren etabliert, um Modelle kostengünstig zu verfeinern. Immer mehr Rechencluster führen gleichzeitig zahlreiche LoRA‑Trainingsjobs auf demselben, eingefrorenen Backbone aus. Diese heterogenen Jobs unterscheiden sich in Adapter‑Rank, Batch‑Größe und Ressourcenbedarf, sodass herkömmliche Batch‑Ansätze häufig Synchronisations‑Staus, Kommunikations‑Overhead und langsame Jobs verursachen.

tLoRA löst dieses Problem, indem es mehrere LoRA‑Adapter, die denselben Basis‑Modell teilen, zu einem elastischen Shared Super‑Model zusammenführt. Durch die Nutzung bestehender verteilter Trainingsframeworks kann tLoRA Parallelitätspläne generieren, die Ressourcen effektiv teilen und gleichzeitig die individuellen Anforderungen der einzelnen Jobs berücksichtigen.

Auf Kernel‑Ebene setzt tLoRA einen fusionierten LoRA‑Kernel ein, der die Low‑Rank‑Berechnungen adaptiv rekonstruiert und rank‑bewusste Nano‑Batches plant. Dadurch wird die Überlappung von Rechen- und Kommunikationsschritten maximiert, was die Effizienz des Trainings deutlich steigert.

Der Scheduler von tLoRA arbeitet online und ist residual‑Kapazitäts‑bewusst. Er gruppiert Jobs dynamisch, um die kollektive Durchsatzrate zu erhöhen und Engpässe zu vermeiden. Dieser Ansatz sorgt dafür, dass die Ressourcen optimal genutzt werden, ohne einzelne Jobs zu behindern.

Evaluierungen anhand realer Cluster‑Spuren zeigen, dass tLoRA den Trainingsdurchsatz um 1,2 bis 1,8‑fach steigert, die Trainingszeit pro Job um 2,3 bis 5,4‑fach verkürzt und die GPU‑Auslastung um 37 % erhöht. Diese Ergebnisse unterstreichen die Leistungsfähigkeit von tLoRA als zukunftsweisende Lösung für effizientes Multi‑LoRA‑Training.