PERA: Polynomiale Erweiterung verbessert Low‑Rank‑Fine‑Tuning

Ein neues Verfahren namens Polynomial Expansion Rank Adaptation (PERA) verspricht, die Grenzen des beliebten Low‑Rank‑Adaptation (LoRA) zu überwinden. Während LoRA nur lineare, bilineare Gewichtsanpassungen zulässt, erweitert PERA die Low‑Rank‑Faktoren durch strukturierte Polynomiale, sodass hochgradige Interaktionen – insbesondere quadratische Terme – direkt in den Anpassungsraum eingebunden werden.

Durch diese polynomiale Erweiterung entsteht ein nichtlinearer Adaptationsraum, der ohne Erhöhung der Ranggröße oder des Inferenzaufwands ein viel größeres Ausdrucksvermögen bietet. Theoretische Analysen zeigen, dass PERA die Fähigkeit zur Merkmalnutzung deutlich steigert und damit die Modellleistung gegenüber herkömmlichen linearen Ansätzen verbessert.

In umfangreichen Experimenten über verschiedene Benchmarks hinweg übertrifft PERA konsequent die aktuellen Spitzenmethoden. Besonders die Einbindung von quadratischen Nichtlinearitäten erwies sich als entscheidend, um robuste Ergebnisse bei unterschiedlichen Rang‑Einstellungen zu erzielen. Der komplette Code ist auf GitHub verfügbar: https://github.com/zhangwenhao6/PERA.