EMA allein reicht nicht: Grenzen von Struktur und Inhalt in rekurrenten Modellen

Ein neues Papier von Forschern auf arXiv zeigt, dass das beliebte Exponential Moving Average (EMA) nicht die einzige Lösung für effiziente Sequenzmodelle ist. Durch die Verwendung von EMA‑Spuren – einer extrem einfachen rekurrenten Architektur ohne Gating oder content‑basiertes Abrufen – wird die Grenze zwischen dem, was feste Koeffizienten‑Summen darstellen können, und dem, was wirklich benötigt wird, klar kartiert.

Die Ergebnisse sind beeindruckend: Ein Hebb‑basiertes System mit Multi‑Timescale‑Spuren erreicht 96 % der Leistung eines überwachten BiGRU‑Modells bei der grammatischen Rollenzuweisung – und das ohne jegliche Labels. Gleichzeitig übertrifft es das überwachte Modell bei rollenabhängigen Strukturen. Doch die Spuren verlieren die Token‑Identität: Ein 130‑Millionen‑Parameter‑Sprachmodell, das ausschließlich EMA‑Kontext nutzt, erzielt eine C4‑Perplexität von 260 – achtmal schlechter als GPT‑2 – und ein Ablations‑Experiment, bei dem der lineare Prädiktor durch vollständige Softmax‑Aufmerksamkeit ersetzt wird, führt zum gleichen Verlust. Das bedeutet, dass die Lücke ausschließlich in den Spuren liegt.

Die Autoren betonen, dass EMA‑Spuren eine verlustbehaftete, datenunabhängige Kompression darstellen. Nach dem Datenverarbeitungsprinzip kann kein nachgelagerter Prädiktor die verlorenen Informationen wiederherstellen. Fixierte Koeffizienten‑Summen, egal ob über die Zeit oder die Tiefe aggregiert, führen zu irreversibler Informationsverdünnung – ein Problem, das nur durch lernbasierte, input‑abhängige Auswahl gelöst werden kann.