Attention Sink bei Transformers: Überblick zu Nutzung und Gegenmaßnahmen
Transformers bilden das Rückgrat moderner KI und haben in vielen Bereichen bahnbrechende Fortschritte ermöglicht. Trotz dieser Erfolge bleibt ein hartnäckiges Problem bestehen: der Attention Sink (AS). Dabei konzentriert sich ein großer Teil der Aufmerksamkeitsgewichte auf wenige, aber wenig inform…