Neues Pre-Training: Constraint-basierte Methode ermöglicht skalierbare Modelle

Das Pre‑Training‑ und Fine‑Tuning‑Paradigma ist heute der Standard für die Anpassung von Modellen. Traditionelle Pre‑Training‑Methoden liefern jedoch Modelle mit einer festen Größe, während reale Anwendungen häufig Modelle in unterschiedlichen Dimensionen benötigen. Dadurch entsteht ein deutlicher Mangel, wenn die Zielgröße von der während des Pre‑Trainings verwendeten Größe abweicht.

Um dieses Problem zu lösen, wurde ein neues, constraint‑basiertes Pre‑Training‑Paradigma vorgestellt. Dabei werden strukturierte Einschränkungen während des Pre‑Trainings eingesetzt, um das Wissen in size‑agnostische Gewichtsvorlagen zu entkoppeln. Gleichzeitig werden die Größe‑spezifischen Anpassungen über leichte Gewichtsskalierer realisiert, sodass die Initialisierung von Modellen beliebiger Größe als ein Multi‑Task‑Adaptationsproblem formuliert wird.

Im Rahmen dieses Ansatzes wurde WeiT entwickelt, das Kronecker‑basierte Constraints nutzt, um den Pre‑Training‑Prozess zu regulieren. Modellparameter werden als Zusammensetzungen von Gewichtsvorlagen dargestellt, die durch Konkatenation und gewichtete Aggregation kombiniert werden. Adaptive Verbindungen werden von leichten Gewichtsskalierern gesteuert, deren Parameter aus begrenzten Daten gelernt werden.

Durch diese Architektur ist es möglich, Modellgewichte flexibel und effizient für eine breite Palette von Zielgrößen zu konstruieren. WeiT ermöglicht die schnelle und ressourcenschonende Erstellung von Modellen mit unterschiedlichen Tiefen und Breiten.

Umfangreiche Experimente zeigen, dass WeiT die Effizienz und Effektivität bei der Initialisierung von Modellen mit variierenden Dimensionen über mehrere Aufgaben hinweg übertrifft. Dazu gehören Bildklassifikation, Bildgenerierung und embodied Control. Die Ergebnisse gelten sowohl für Transformer‑Architekturen als auch für andere Modelltypen.

Insgesamt bietet das constraint‑basierte Pre‑Training einen vielversprechenden Weg, die Lücke zwischen der Größe des Pre‑Trainings und den Anforderungen der praktischen Bereitstellung zu schließen. Es liefert skalierbare, leistungsfähige Modelle, die sich leicht an unterschiedliche Einsatzszenarien anpassen lassen.