KFAC-gestützte Hypergradienten verbessern Bilevel-Optimierung

Die Bilevel-Optimierung (BO) ist ein zentrales Werkzeug in vielen Bereichen des maschinellen Lernens, doch ihre Skalierbarkeit hängt stark von der effizienten Berechnung von Hypergradienten ab. Traditionell erfordert dies das Lösen von Inversen-Hessian-Vektor-Produkten (IHVPs), die häufig durch einfache Näherungen wie ein‑Schritt‑Gradient‑Unrolling oder kurze Neumann‑Reihen ersetzt werden. Diese Verfahren ignorieren jedoch wichtige Krümmungsinformationen.

In einer neuen Studie wird ein Ansatz vorgestellt, der die Kronecker‑faktorierte Approximation (KFAC) nutzt, um hypergradiente mit Krümmungswissen zu berechnen. Durch die Einbindung von KFAC entstehen Hypergradienten, die eine bessere Balance zwischen Rechenaufwand und Leistung bieten als herkömmliche Methoden wie Conjugate‑Gradient (CG) oder Neumann‑Algorithmen und die Leistung von Unrolling konsequent übertreffen.

Die Autoren haben ihre Methode auf einer breiten Palette von Aufgaben getestet, darunter Meta‑Learning‑Szenarien und Probleme der KI‑Sicherheit. Selbst bei Modellen bis zur Größe von BERT zeigte sich, dass Krümmungsinformationen bei großen Modellen entscheidend sind und KFAC diese mit nur geringen Speicher‑ und Laufzeitkosten liefern kann. Der komplette Code ist auf GitHub verfügbar.