NextMem: Latente Fakten‑Speicher für LLM-Agenten – neue Rekonstruktionsmethode

In der Welt der großen Sprachmodelle (LLM) ist ein zuverlässiger Speicher für frühere Beobachtungen entscheidend, damit Agenten fundierte Entscheidungen treffen können. Dabei bildet die Fakten‑Speicherung die Basis für jede sinnvolle Erinnerung. Aktuelle Ansätze, die auf Text‑Indexierung oder parametrierte Modelle setzen, stoßen jedoch schnell an Grenzen: sie erfordern enorme Kontextmengen, leiden unter Vergessensproblemen und sind kostenintensiv.

NextMem löst diese Probleme, indem es einen latenten Fakten‑Speicher auf Basis eines autoregressiven Autoencoders entwickelt. Der Encoder komprimiert Beobachtungen in einen kompakten latenten Raum, während der Decoder die ursprünglichen Daten exakt wiederherstellen kann. Durch die Kombination von Rekonstruktionsgenauigkeit und Speicherkompression entsteht ein effizienter, robuster Speichermechanismus.

Zur Optimierung nutzt NextMem einen zweistufigen Trainingsprozess. Zunächst wird die Rekonstruktion im autoregressiven Modus ausgerichtet, anschließend erfolgt eine progressive Substitution der latenten Repräsentationen, um die Modellleistung weiter zu steigern. Zusätzlich wird Quantisierung eingesetzt, um den Speicherbedarf noch weiter zu reduzieren, ohne die Qualität der Rückabfrage zu beeinträchtigen.

Umfangreiche Experimente zeigen, dass NextMem in allen getesteten Bereichen – Retrieval, Robustheit und Erweiterbarkeit – die Konkurrenz deutlich übertrifft. Der gesamte Code sowie die Modell‑Checkpoints stehen auf GitHub zur Verfügung, sodass Entwickler sofort loslegen können: https://github.com/nuster1128/NextMem.