NeuroLoRA: Neuromodulation für effiziente Multi-Task-Anpassung

Parameter‑Effizientes Fine‑Tuning (PEFT) hat sich als unverzichtbare Methode etabliert, um große Sprachmodelle (LLMs) für spezifische Aufgaben zu optimieren. Besonders Low‑Rank Adaptation (LoRA) ermöglicht dabei, die Modellparameter minimal zu verändern und gleichzeitig hohe Leistungen zu erzielen.

Das neu vorgestellte NeuroLoRA‑Framework baut auf dem erfolgreichen FlyLoRA‑Ansatz auf, nutzt jedoch eine dynamische, kontextabhängige Steuerung. Inspiriert von biologischer Neuromodulation – der Anpassung neuronaler Erregbarkeit an den aktuellen Kontext – führt NeuroLoRA ein leichtgewichtiges, lernbares Gate ein, das die Projektion vor der Auswahl der Experten anpasst. Dadurch wird die Relevanz des Eingabe‑Kontexts direkt in die Modulation der LoRA‑Parameter einfließen.

Zusätzlich wird ein Contrastive Orthogonality Loss eingeführt, der die Trennung der Experten‑Subräume explizit erzwingt. Diese Maßnahme verbessert die Unabhängigkeit der Aufgaben und stärkt die Fähigkeit des Modells, kontinuierlich neues Wissen zu integrieren, ohne bereits erlernte Aufgaben zu vergessen.

Umfangreiche Tests auf MMLU, GSM8K und ScienceQA zeigen, dass NeuroLoRA die Leistungen von FlyLoRA und anderen starken Baselines in allen Szenarien – von Einzelaufgaben über Multi‑Task‑Modelle bis hin zu sequentiellem kontinuierlichem Lernen – übertrifft. Gleichzeitig bleibt die Parameter‑Effizienz vergleichbar, was NeuroLoRA zu einer vielversprechenden Lösung für ressourcenbeschränkte Anwendungen macht.