LLM-Entwicklung: Ist es Skalierung oder geheime Technologie?

Eine aktuelle Analyse von 809 Sprachmodellen, die zwischen 2022 und 2025 veröffentlicht wurden, liefert neue Erkenntnisse darüber, ob der Erfolg von LLMs vor allem auf reiner Rechenleistung oder auf proprietären Techniken beruht. Durch Skalierungsregressionen mit festen Effekten für Entwicklerfirmen und Veröffentlichungsdaten konnte die Studie die Rolle von Effizienzunterschieden eindeutig herausarbeiten.

Die Ergebnisse zeigen, dass Entwicklerfirmen tatsächlich spezifische Effizienzvorteile besitzen. Diese Vorteile sind jedoch stark von der Position des Modells im Leistungsbereich abhängig. An der Spitze der Technologie, wo die Modelle die höchste Leistung erbringen, erklären 80 % bis 90 % der Leistungsunterschiede die höhere Trainingsrechenleistung. Das bedeutet, dass bei den fortschrittlichsten Modellen die Skalierung – also mehr Rechenressourcen – der entscheidende Treiber ist.

Außerhalb dieses Spitzenbereichs spielen proprietäre Techniken und gemeinsamer algorithmischer Fortschritt eine größere Rolle. Sie reduzieren den Rechenaufwand, der nötig ist, um bestimmte Fähigkeitsgrenzen zu erreichen. Einige Unternehmen können systematisch kleinere Modelle mit deutlich höherer Effizienz trainieren, was die Kosten für die Entwicklung senkt.

Ein überraschender Befund ist die enorme Variation innerhalb einzelner Firmen: Zwei Modelle desselben Unternehmens können mehr als 40‑fach unterschiedliche Recheneffizienzen aufweisen. Diese interne Streuung unterstreicht, dass nicht nur die Firma, sondern auch die spezifische Modellarchitektur und Trainingsstrategie entscheidend sind.

Die Studie liefert wichtige Implikationen für die AI-Führungslandschaft und die Verbreitung von Technologie. Während die Skalierung weiterhin die Grenzen der Spitzenleistung verschiebt, ermöglichen effiziente, proprietäre Ansätze Unternehmen, schneller und kostengünstiger leistungsfähige Modelle zu entwickeln und damit die Wettbewerbsfähigkeit zu stärken.