ETA‑VLA: Effiziente Token‑Anpassung für Vision‑Language‑Action‑Modelle

Ein neues Verfahren namens ETA‑VLA verspricht, Vision‑Language‑Action‑Modelle (VLA) für autonome Fahrsysteme deutlich effizienter zu machen. Durch die Kombination von temporaler Fusion und einer sparsifizierenden Intra‑LLM‑Aggregation können historische Multi‑View‑Frames verarbeitet werden, ohne die üblichen quadratischen Kosten der Selbst‑Aufmerksamkeit zu verursachen.

Der Kern von ETA‑VLA ist der Intra‑LLM Sparse Aggregator (ILSA), der sich an der Art und Weise orientiert, wie menschliche Fahrer ihre Aufmerksamkeit verteilen. ILSA identifiziert und entfernt redundante visuelle Tokens, indem es Text‑Anfragen und zeitliche Konsistenz nutzt. Ein text‑gesteuertes Scoring‑Modell und eine diversitätsbewahrende Sparsifizierungsstrategie wählen dabei gezielt die wichtigsten Tokens aus.

In umfangreichen Tests auf dem NAVSIM v2‑Benchmark konnte ETA‑VLA die Leistung von führenden Baselines erreichen, während die Rechenlast um rund 32 % reduziert wurde. Dabei wurden 85 % der visuellen Tokens entfernt und die Inferenz‑FLOPs um 61 % gesenkt, ohne die Genauigkeit um mehr als 6 % zu verlieren – die Modelle behalten 94 % der ursprünglichen Performance.