RADAR: Intelligente Routenwahl für Rechenmodelle – Effizienter Einsatz von LLMs

Neue Forschung aus dem Bereich der Rechen-LLMs zeigt, wie man die Balance zwischen Modellgröße und Rechenbudget optimal steuert. Das von ArXiv vorgestellte System RADAR (Reasoning-Ability and Difficulty-Aware Routing) bietet einen leichtgewichtigen, interpretierbaren und skalierbaren Ansatz, um für jede Anfrage das passende Modell-Budget-Paar auszuwählen.

Inspiration aus der Psychometrie: RADAR lernt aus den Antworten verschiedener Modelle mit unterschiedlichen Budgets ein Item‑Response‑Modell. Dabei werden die Schwierigkeitsgrade der Anfragen und die Leistungsfähigkeit der Modelle in einem klaren, interpretierbaren Rahmen erfasst. Auf Basis dieser Parameter werden schwierige Fragen an leistungsstärkere Modelle mit höherem Budget weitergeleitet, während einfachere Aufgaben effizienter bearbeitet werden.

Die Experimente umfassen acht anspruchsvolle Reasoning‑Benchmarks und zeigen, dass RADAR die Leistung bestehender Routing‑Methoden deutlich übertrifft. Besonders beeindruckend ist die Fähigkeit, auch bei Anfragen außerhalb des Trainingsdatensatzes (Out‑of‑Distribution) starke Ergebnisse zu liefern.

Darüber hinaus ist RADAR skalierbar: Neue Modelle können ohne großen Aufwand integriert werden, indem lediglich eine kleine Auswahl an Testanfragen verwendet wird, um deren Fähigkeiten zu schätzen. Damit bietet RADAR eine zukunftssichere Lösung für den praktischen Einsatz von Rechen-LLMs in verschiedensten Anwendungsbereichen.