LLMs zeigen Schwäche bei langanhaltender FSM-Ausführung – neue Studie enthüllt

Eine aktuelle Untersuchung auf arXiv beleuchtet die bislang wenig verstandene Fähigkeit großer Sprachmodelle (LLMs), komplexe, mehrstufige Regelwerke zuverlässig auszuführen. Während LLMs bei vielen „Reasoning“-Aufgaben beeindruckende Ergebnisse liefern, bleibt unklar, wie gut sie echte prozedurale Abläufe – also deterministische, mehrstufige Berechnungen – bewältigen können. Die Studie führt dazu ein neues, vollständig interpretierbares Testverfahren ein: die Ausführung von endlichen Zustandsautomaten (FSMs).

Im Experiment erhält das Modell eine klare FSM‑Definition und muss Schritt für Schritt auf Eingabeaktionen reagieren, wobei es den Zustand über mehrere Runden hinweg konsistent halten muss. Dabei kommt keine Weltkenntnis zum Einsatz; es genügt die treue Anwendung deterministischer Übergangsregeln. Durch die Messung von „Turn Accuracy“ (direkte Rechenrichtigkeit) und „Task Accuracy“ (kumulative Zustandsgenauigkeit) lassen sich sofortige Fehler von langfristigen Konsistenzproblemen unterscheiden. Die Ergebnisse zeigen, dass die Leistung mit zunehmender Aufgabenlänge oder steigender Verzweigungsdichte systematisch abnimmt. Besonders stark leiden Modelle, wenn die Regelabrufung viele Verzweigungen erfordert, während ein langer Gedächtnisbereich weniger problematisch ist. Größere Modelle erzielen zwar bessere lokale Genauigkeit, bleiben jedoch bei mehrstufigen Abläufen brüchig, es sei denn, sie werden gezielt dazu angeregt, Zwischenschritte explizit auszugeben. Das FSM‑basierte Benchmarking bietet damit einen transparenten, komplexitätskontrollierten Ansatz, um diese Schwäche zu diagnostizieren und gezielt zu verbessern.