GenLoRA: Nichtlineare Basisvektoren steigern Effizienz von Low‑Rank‑Adapters

In der Welt der KI‑Modelle hat die Low‑Rank‑Adaptation (LoRA) einen wichtigen Platz eingenommen, indem sie die Aktualisierung von vortrainierten Gewichtsmatrizen durch das Produkt zweier kleiner Matrizen approximiert. Doch das klassische LoRA‑Paradigma verlangt bei steigender Modellkapazität das Hinzufügen weiterer Zeilen oder Spalten – also Basisvektoren – was zu einem erheblichen Anstieg der Parameterzahl führt.

GenLoRA, die neue Methode aus dem jüngsten arXiv‑Pape, begegnet diesem Problem mit einer cleveren Wendung: Anstatt Basisvektoren explizit zu speichern, erzeugt sie sie mithilfe von nichtlinearen Funktionen. Für jede Low‑Rank‑Matrix wird ein latenter Vektor verwaltet, der durch eine Reihe leichter Radialer Basisfunktionen (RBFs) in Basisvektoren übersetzt wird. Da jede RBF deutlich weniger Parameter benötigt als ein expliziter Basisvektor, kann GenLoRA die gleiche oder sogar eine höhere effektive Rangzahl erreichen – und das bei einem viel kleineren Parameterbudget.

Umfangreiche Experimente über verschiedene Datensätze und Architekturen hinweg zeigen, dass GenLoRA nicht nur sparsamer mit Parametern umgeht, sondern auch die Feinabstimmungsleistung übertrifft. Die Kombination aus kompakteren Basisvektoren und höherem effektiven Rang führt zu besseren Ergebnissen bei gleicher oder geringerer Modellgröße.

Der komplette Code ist öffentlich zugänglich unter https://anonymous.4open.science/r/GenLoRA-1519 und steht Forschern sowie Entwicklern zur Verfügung, die die nächste Generation von Low‑Rank‑Adapters erkunden wollen.