Transformers nutzen unterschiedliche Mechanismen für kontextabhängiges Lernen
Eine neue Untersuchung hat die Mechanismen hinter dem sogenannten „in‑context learning“ in Transformer‑Modellen entschlüsselt. Die Autoren zeigen, wie diese Netzwerke ihre Berechnungen an die statistischen Eigenschaften…