Effiziente Entscheidungsfindung bei Testzeitaufwand: Längenbewusste Priorität

In einer neuen Studie zeigen Forscher, wie man bei festem Testzeitaufwand effizientere Entscheidungen treffen kann, ohne die Laufzeit zu erhöhen. Durch zwei ausschließlich im Training eingesetzte Komponenten lassen sich kleine und mittlere Transformer-Modelle optimieren, die zudem auf breitere differenzierbare Optimierer übertragbar sind.

Die erste Komponente ist ein längenbewusster Aufmerksamkeitsprior, der mittels fuzzy regime position alignment (RPA) einen normalisierten Bias vor dem Softmax erzeugt. Dieser Bias wirkt wie ein strukturiertes Regularisierungsmerkmal und lenkt die Aufmerksamkeit, ohne zusätzliche Inferenzparameter hinzuzufügen.

Die zweite Komponente ist ein minimaler, gewinnorientierter Controller namens Guardian. Er steuert die Schärfe der Aufmerksamkeit nur dann, wenn Validierungsverbesserungen dies rechtfertigen, und nutzt dabei ein zweistufiges Policy‑Gradient‑Modell der nicht-konvexen Optimierung. Der Controller ist bei der Inferenz deaktiviert.

Auf dem WikiText‑2-Datensatz konnte die Methode die Validierungs‑Cross‑Entropy senken, während Latenz und Speicherverbrauch gleich blieben. Bei der Inferenz wird ein vorcomputierter, gecachter Bias pro Kopf hinzugefügt, was keinen messbaren Einfluss auf die p50‑Latenz hat. Die Ergebnisse zeigen, dass längenbewusste Prioritäten und späte Gewinnkontrolle besonders bei langen, verrauschten Logit‑Regimen Vorteile bringen, ohne die Testzeit zu erhöhen.

Zusammenfassend demonstriert die Arbeit, dass gezielte Aufmerksamkeitsvorprioritäten und ein kontrollierter Gewinnmechanismus die Effizienz von Transformer‑Modellen steigern können, ohne die Kosten im Testzeitrahmen zu erhöhen.