Sparse Autoencoders revolutionieren die mehrsprachige Suche

Ein neues arXiv-Papier mit der Nummer 2603.13277v1 präsentiert einen innovativen Ansatz, der Sparse Autoencoders (SAEs) nutzt, um die dichten Repräsentationen großer Sprachmodelle in leicht interpretierbare latente Merkmale zu zerlegen. Diese Technik bildet die Basis für ein neues Konzept des Learned Sparse Retrieval (LSR), bei dem Anfragen und Dokumente in hochdimensionale, spärliche Vektoren kodiert werden, die speziell für effiziente Suchoperationen optimiert sind.

Im Gegensatz zu bisherigen LSR-Methoden, die Eingabesequenzen in den Wortschatzraum projizieren, ermöglichen SAE-basierte Repräsentationen eine semantisch strukturiertere und sprachunabhängigere Darstellung. Dadurch können die Modelle nicht nur besser zwischen verschiedenen Sprachen unterscheiden, sondern auch in Domänen arbeiten, für die sie nicht explizit trainiert wurden.

Auf dieser Grundlage wurde die Methode SPLARE entwickelt, die SAEs für LSR-Modelle trainiert. Durch Experimente mit aktuellen Open‑Source‑SAEs konnte gezeigt werden, dass SPLARE in mehrsprachigen und out‑of‑domain Szenarien konsequent bessere Ergebnisse liefert als herkömmliche, wortschatzbasierte Ansätze.

Ein besonders leistungsfähiges Modell, SPLARE‑7B, erzeugt generalisierbare, spärliche latente Einbettungen für eine breite Palette von Sprachen und Anwendungsbereichen und erzielt Spitzenplatzierungen bei den MMTEB‑Tests für mehrsprachige und englische Retrievalaufgaben. Zusätzlich wurde eine kompaktere Variante mit 2 Milliarden Parametern entwickelt, die einen deutlich geringeren Speicherbedarf aufweist, ohne die Leistungsfähigkeit wesentlich zu beeinträchtigen.