Neues QKNorm: Lp‑Norm‑basierte Normalisierung für Transformer

Die Stabilität von Transformer‑Modellen hängt stark von der Normalisierung der Query‑ und Key‑Vektoren ab. Durch die Skalierung dieser Vektoren wird sichergestellt, dass das Lernen unabhängig von deren Größe zuverlässig funktioniert.

In einer neuen Arbeit auf arXiv (ID 2602.05006v1) wird ein erweitertes QKNorm‑Schema vorgestellt, das auf dem Lp‑Norm‑Konzept basiert. Diese Erweiterung ermöglicht die Verwendung von nicht‑euclidischen Normen, wodurch die Flexibilität und Anpassungsfähigkeit der Normalisierung deutlich erhöht wird.

Experimentelle Ergebnisse zeigen, dass das neue Verfahren bereits bei einfachen Aufgaben die Leistungsfähigkeit verbessert. Die Autoren betonen, dass die Lp‑Norm‑basierte Normalisierung ein vielversprechender Ansatz für zukünftige Transformer‑Architekturen darstellt.