vla-eval: Einheitliches Evaluations-Framework für VLA‑Modelle

Die neue Open‑Source-Plattform vla-eval revolutioniert die Bewertung von Vision‑Language‑Action‑Modellen. Durch die Trennung von Modellinferenz und Benchmark-Ausführung mittels eines WebSocket‑Msgpack‑Protokolls und Docker‑Isolierung können Modelle einmalig mit einer einzigen predict()-Methode integriert werden, während Benchmarks über ein vier‑Methoden‑Interface eingebunden werden. Das Ergebnis ist ein automatischer, vollständiger Kreuzbewertungs‑Matrix, die mit nur zwei Befehlen – vla eval serve und vla eval run – gestartet werden kann.

vla-eval unterstützt derzeit 13 Simulationsbenchmarks und sechs Modellserver. Durch parallele Auswertung mittels Episode‑Sharding und Batch‑Inference erzielt die Plattform einen Durchsatzgewinn von 47‑fach, sodass 2000 LIBERO‑Episoden in etwa 18 Minuten abgeschlossen werden können. Diese Leistungssteigerung macht umfangreiche Reproduktionsstudien praktisch machbar.

In einer Reproduktionsprüfung eines veröffentlichten VLA‑Modells über drei Benchmarks zeigte vla-eval, dass die Ergebnisse nahezu identisch mit den ursprünglichen Publikationen sind. Gleichzeitig wurden jedoch bislang unbekannte Anforderungen, unklare Terminierungssemantik und versteckte Normalisierungsstatistiken aufgedeckt, die die Resultate verfälschen können. Diese Erkenntnisse unterstreichen die Bedeutung eines standardisierten Evaluationsrahmens.

Zusätzlich wurde ein VLA‑Leaderboard veröffentlicht, das 657 veröffentlichte Ergebnisse aus 17 Benchmarks zusammenführt. Alle Framework‑Dateien, Konfigurationen und Reproduktionsdaten sind öffentlich zugänglich, sodass die Community sofort von der Plattform profitieren kann.