SEVerA: Verifizierte Selbstentwickelnde Agenten sichern KI-Performance

In der KI-Forschung haben sich selbstentwickelnde Agenten als besonders leistungsfähig bei Aufgaben wie Programmreparatur und wissenschaftlicher Entdeckung erwiesen. Dabei plant ein großes Sprachmodell (LLM) ein Agentenprogramm, das weitere parametrisierte Modelle – darunter weitere LLMs – aufruft und diese für die jeweilige Aufgabe feinjustiert. Trotz ihrer Effektivität fehlt diesen Systemen bislang eine formale Garantie für Sicherheit und Korrektheit, was bei autonomer Ausführung auf unbekannte Eingaben erhebliche Risiken birgt.

Um diese Lücke zu schließen, wurde das Konzept der Formally Guarded Generative Models (FGGM) eingeführt. FGGM erlaubt es dem Planer-LLM, für jeden Modellaufruf eine formale Vertragsanweisung in erster‑Ordnung‑Logik zu definieren. Jede FGGM‑Instanz kapselt das zugrunde liegende Modell in einen Ablehnungs‑Sampler mit einem verifizierten Fallback, sodass jede Ausgabe garantiert den Vertrag für beliebige Eingaben und Parameter erfüllt.

Aufbauend auf FGGM präsentiert SEVerA (Self‑Evolving Verified Agents) einen dreistufigen Ansatz: Zunächst sucht das System Kandidatenprogramme, die FGGM‑Aufrufe enthalten. Anschließend wird die Korrektheit gegenüber den harten Constraints für alle Parameterwerte verifiziert, wodurch das Problem auf unbeschränktes Lernen reduziert wird. Abschließend optimiert ein skalierbarer, gradientsbasierter Lernschritt – inklusive GRPO‑ähnlicher Feinabstimmung – die weichen Ziele, ohne die formale Korrektheit zu verletzen.

Die Evaluation von SEVerA auf Dafny‑Programmen demonstriert, dass die Kombination aus formaler Verifikation und lernbasiertem Feintuning nicht nur die Sicherheit erhöht, sondern auch die Leistungsfähigkeit der Agenten signifikant steigert. Damit eröffnet SEVerA einen vielversprechenden Weg, robuste und verlässliche KI‑Agenten für komplexe Aufgaben zu entwickeln.