Neuer Benchmark Frontier-Eng misst KI-Agenten bei realen Ingenieuraufgaben

Die Wissenschaft der künstlichen Intelligenz erhält mit Frontier-Eng einen neuen Maßstab: Ein von Menschen verifizierter Benchmark, der KI-Agenten in der iterativen Optimierung von realen Ingenieurdesigns testet. Im Gegensatz zu bisherigen Tests, die meist auf binären Pass/Fail-Ergebnissen wie Code‑Generierung oder Suchfragen basieren, fokussiert Frontier-Eng auf die kontinuierliche Verbesserung von machbaren Entwürfen.

Der Benchmark umfasst 47 Aufgaben, die in fünf große Ingenieurkategorien eingeteilt sind. Jede Aufgabe nutzt industrielle Simulations- und Verifikationswerkzeuge, die nicht nur ein kontinuierliches Belohnungssignal liefern, sondern auch harte Machbarkeitsbeschränkungen unter festem Interaktionsbudget durchsetzen. Der typische Ablauf besteht aus einem Vorschlag‑Ausführen‑Bewerten‑Loop, bei dem ein Agent neue Artefakte generiert, Feedback von einem ausführbaren Verifikator erhält und diese unter dem vorgegebenen Budget anpasst.

Bei der Bewertung acht führender Sprachmodelle mit repräsentativen Suchframeworks zeigte sich, dass Claude 4.6 Opus die robusteste Leistung erbringt, jedoch bleibt der Benchmark für alle Modelle anspruchsvoll. Die Analyse ergab ein duales Potenzgesetz für die Häufigkeit und Größe von Verbesserungen, wobei die Verbesserungsgeschwindigkeit etwa um den Faktor 1/Iteration abnimmt und die Verbesserungshöhe um 1/Verbesserungsanzahl. Zudem verdeutlicht die Untersuchung, dass Breite die Parallelität und Vielfalt steigert, während Tiefe entscheidend für bedeutende Fortschritte innerhalb eines festen Budgets ist.

Frontier-Eng setzt damit einen neuen Standard für die Bewertung von KI-Agenten, die in der Lage sein sollen, Fachwissen mit ausführbarem Feedback zu verknüpfen, um komplexe, offene Ingenieurprobleme zu lösen. Der Benchmark bietet Forschern ein praxisnahes Testfeld, um die Fortschritte von generativen Optimierungsagenten realitätsnah zu messen.