Neuro-Symbolische Automata stärken LLM-Logik: Local RetoMaton

In einer neuen Veröffentlichung auf arXiv wird ein neuartiges neuro-symbolisches System vorgestellt, das die Art und Weise, wie große Sprachmodelle (LLMs) logisch denken, grundlegend verändert. Das System, genannt Local RetoMaton, kombiniert die Vorteile von symbolischer Logik mit der Flexibilität moderner neuronaler Modelle.

Derzeit nutzen viele Anwendungen Prompt‑basierte Strategien wie Chain‑of‑Thought (CoT) und In‑Context Learning (ICL), um LLMs zu komplexen Aufgaben zu führen. Diese Ansätze beruhen jedoch auf schwachen, impliziten Mechanismen, die bei kleinen Änderungen im Prompt, bei unterschiedlichen Seed‑Werten oder bei leicht veränderten Formaten zu inkonsistenten Ergebnissen führen. Für Aufgaben, die stabile und nachvollziehbare Logik erfordern, sind sie daher unzuverlässig.

Local RetoMaton löst dieses Problem, indem es die globale Datenbank des ursprünglichen RetoMaton durch einen lokalen, auf Aufgaben zugeschnittenen Weighted Finite Automaton (WFA) ersetzt. Der WFA wird direkt aus externen Domänenkorpora konstruiert und ermöglicht deterministische Übergänge, die eine strukturierte und überprüfbare Abruflogik garantieren. Durch die Trennung von Kontext und Speicher bleibt die symbolische Nachvollziehbarkeit erhalten, während die Inferenzkosten gering bleiben.

Die Autoren haben die neue Variante an zwei vortrainierten LLMs – LLaMA‑3.2‑1B und Gemma‑3‑1B‑PT – getestet. Auf den drei anspruchsvollen Aufgaben TriviaQA (Lesekompetenz), GSM8K (mehrstufige Mathematik) und MMLU (Domänenwissen) zeigte Local RetoMaton im Vergleich zu den Basismodellen und zu klassischen Prompt‑Methoden eine konsequente Leistungssteigerung. Die Ergebnisse deuten darauf hin, dass die lokale Automaton‑Struktur besonders bei Domain‑Transfer‑Szenarien und bei der Interoperabilität von Vorteil ist.

Zusammenfassend bietet Local RetoMaton eine robuste, modulare und leicht überprüfbare Alternative zu herkömmlichen Prompt‑Techniken. Durch die Kombination von deterministischen Übergängen und symbolischer Traceability eröffnet es neue Möglichkeiten für die Entwicklung von LLM‑Anwendungen, die sowohl leistungsfähig als auch vertrauenswürdig sind.