MLPerf Automotive: Neuer Standard für KI-Leistung in Fahrzeugen
MLPerf Automotive ist der erste öffentliche, standardisierte Benchmark, der die Leistung von Machine‑Learning‑Systemen in Fahrzeugen bewertet. Durch die Zusammenarbeit von MLCommons und dem Autonomous Vehicle Computing Consortium wurde ein Rahmen geschaffen, der die speziellen Anforderungen von Automobil‑Workloads – wie Sicherheit und Echtzeitverarbeitung – berücksichtigt.
Der Benchmark liefert sowohl Latenz‑ als auch Genauigkeitsmetriken und definiert klare Evaluationsprotokolle, sodass Hardware‑ und Softwareplattformen vergleichbar und reproduzierbar bewertet werden können. In der ersten Version stehen Aufgaben der Fahrzeug‑Perzeption im Fokus: 2‑D‑Objekterkennung, 2‑D‑semantische Segmentierung und 3‑D‑Objekterkennung.
Die Methodik umfasst die Auswahl der Aufgaben, die Definition von Referenzmodellen und die Festlegung von Einreichungsregeln. Bereits die erste Runde von Benchmark‑Einreichungen hat gezeigt, dass die Beschaffung der Daten und die Entwicklung der Referenzimplementierungen erhebliche technische Herausforderungen mit sich bringen.
Der komplette Benchmark-Code ist öffentlich zugänglich unter https://github.com/mlcommons/mlperf_automotive.