LLM-FSM: Automatisiertes Benchmark für FSM-zu-RTL-Übersetzung

Ein neues Benchmark namens LLM-FSM wurde vorgestellt, das die Fähigkeit großer Sprachmodelle (LLMs) testet, Zustandsautomaten aus natürlichen Sprachbeschreibungen zu rekonstruieren und in korrekte Register-Transfer-Level (RTL)-Implementierungen zu übersetzen. Das Verfahren richtet sich speziell an die Anforderungen der Hardwareentwicklung, bei der das Verständnis von zustandsabhängigem Verhalten entscheidend ist.

Im Gegensatz zu bisherigen Benchmarks, die auf manuell erstellten Beispielen basieren, nutzt LLM-FSM einen vollständig automatisierten Ablauf. Zunächst werden Zustandsautomaten mit variabler Anzahl von Zuständen und definierten Übergangsmustern generiert. Anschließend werden die LLMs dazu aufgefordert, jeden Automaten in einem strukturierten YAML-Format darzustellen, das anschließend in eine natürliche Sprachbeschreibung umgewandelt wird. Aus demselben YAML wird die Referenz-RTL-Implementierung sowie ein Testbench automatisch erzeugt.

Alle 1.000 Aufgaben werden sowohl mit LLM-basierten als auch mit SAT-Solver-Methoden überprüft, wobei ein Teil der Ergebnisse von Menschen kontrolliert wird. Die Ergebnisse zeigen, dass selbst die leistungsstärksten Modelle ihre Genauigkeit deutlich verlieren, wenn die Komplexität der FSM steigt. Durch gezieltes Supervised Fine‑Tuning (SFT) lässt sich die Leistung jedoch auch bei Aufgaben außerhalb des Trainingsdatensatzes verbessern, und eine höhere Rechenleistung während des Tests erhöht die Zuverlässigkeit der Schlussfolgerungen.

LLM-FSM ist so konzipiert, dass es mit zukünftigen Modellfähigkeiten skalierbar bleibt, indem die Komplexität der Zustandsautomaten erweitert werden kann. Damit bietet es eine robuste Plattform für die Weiterentwicklung von Sprachmodellen im Bereich der Hardwareentwicklung.