PilotBench: Benchmark für General Aviation Agenten mit Sicherheitsanforderungen

Mit dem Aufkommen von Large Language Models (LLMs) in der realen Welt stellt sich die zentrale Frage: Können Modelle, die ausschließlich auf Textdaten trainiert wurden, komplexe physikalische Zusammenhänge zuverlässig nachvollziehen und dabei gleichzeitig Sicherheitsvorgaben einhalten? PilotBench liefert die Antwort.

Der neue Benchmark testet LLMs anhand von 708 echten General-Aviation-Flugtrajektorien, die neun unterschiedliche Flugphasen abdecken und mit synchronisierten 34‑Kanäle-Telemetrie-Daten ausgestattet sind. PilotBench untersucht gezielt die Schnittstelle zwischen semantischem Verständnis und physikbasierter Vorhersage, indem es LLMs mit klassischen Vorhersagemodellen vergleicht.

Zur Bewertung wurde der Pilot‑Score entwickelt, ein zusammengesetztes Maß, das 60 % der Regressionsgenauigkeit mit 40 % der Befolgung von Anweisungen und Sicherheitsrichtlinien abwägt. In einer vergleichenden Analyse von 41 Modellen zeigte sich ein klarer Präzisions‑Kontrollabilitäts-Dichotomie: Traditionelle Vorhersager erzielen eine bessere mittlere absolute Fehler (MAE) von 7,01, fehlen jedoch an semantischer Erklärbarkeit, während LLMs mit 86 – 89 % Anweisungs‑Compliance überzeugen, jedoch mit einem MAE von 11 – 14 punkten zurückbleiben.

Eine phasenweise Analyse offenbart, dass die Leistung von LLMs in hochbelasteten Phasen wie Anstieg und Annäherung stark abnimmt, was auf schwache implizite Physikmodelle hinweist. Diese Erkenntnisse legen nahe, hybride Architekturen zu entwickeln, die die symbolische Logik von LLMs mit der numerischen Präzision spezialisierter Vorhersager kombinieren.

PilotBench bietet damit eine solide Grundlage, um die Entwicklung von eingebetteten KI-Agenten in sicherheitskritischen Bereichen voranzutreiben und die Grenzen zwischen Sprachverständnis und physikalischer Genauigkeit zu überwinden.