ProtoT: Ein neuer Transformer, der mit Prototypen erklärbar bleibt

Die neueste Veröffentlichung auf arXiv (2602.11852v1) stellt den Prototype Transformer (ProtoT) vor – ein autoregressives Sprachmodell, das anstelle der üblichen Self‑Attention-Mechanismen auf Prototypen (Parametervektoren) setzt. Durch einen bidirektionalen Austausch zwischen Eingabesequenz und Prototypen lernt das Modell eigenständig erkennbare Konzepte wie „Frau“ zu repräsentieren, was die Nachvollziehbarkeit seiner Entscheidungswege deutlich verbessert.

ProtoT nutzt Kommunikationskanäle, die Kontextinformationen über verschiedene Zeitskalen aggregieren. Dadurch wird die Modellinterpretation erleichtert, während die Rechenkomplexität linear zur Sequenzlänge wächst – ein klarer Vorteil gegenüber den quadratischen Skalierungen herkömmlicher Transformer. Die Autoren zeigen, dass ProtoT bei Textgenerierung und Aufgaben aus dem GLUE‑Benchmark konkurrenzfähig bleibt und gleichzeitig robuster gegenüber Eingabeperturbationen ist.

Ein besonderes Merkmal des ProtoT ist die Möglichkeit, gezielte Änderungen am Verhalten des Modells vorzunehmen, indem einzelne Prototypen angepasst werden. Diese editierbare Struktur eröffnet neue Wege, um Fehlverhalten zu korrigieren und das Vertrauen in KI‑Ausgaben zu stärken, ohne die Leistungsfähigkeit zu beeinträchtigen.