Forschung
Pixelbasierte Sprachmodelle stärken Robustheit gegen orthografische Angriffe Autoregressive Sprachmodelle leiden bei orthografischen Angriffen stark unter, wenn Eingabetexte mit Zeichen aus verschiedenen Alphabetsystemen verfälscht werden. Das Problem liegt vor allem an der Out‑of‑Vocabulary‑Hürde, die bei subword‑Tokenisierern und ihren Einbettungen entsteht. Um dieser Schwäche entgegenzuwirken, schlägt die neue Studie einen pixelbasierten generativen Ansatz vor. Dabei werden Wörter als einzelne Bilder
arXiv – cs.AI