LLMs scheitern bei optimierten Aufgaben unter realen Beschränkungen

Neues Forschungspapier aus dem arXiv‑Repository zeigt, dass die derzeit führenden Sprachmodelle trotz ihrer beeindruckenden Leistungen in vielen NLP‑Aufgaben kaum in der Lage sind, komplexe Optimierungsprobleme mit realen Beschränkungen zu lösen. Der Fokus liegt dabei auf dem Optimal Power Flow (OPF), einem zentralen Problem der Energieversorgung, bei dem Stromnetze effizient und sicher betrieben werden müssen.

Die Autoren haben ein anspruchsvolles Testsetup entwickelt, das vier Kernkompetenzen erfordert: logisches Denken, die Verarbeitung strukturierter Eingaben, arithmetische Fähigkeiten und die Durchführung von Optimierungen unter Einschränkungen. In einer umfassenden Evaluation konnten die aktuellen Spitzenmodelle (SoTA) die meisten Aufgaben nicht bewältigen. Selbst spezialisierte „Reasoning‑LLMs“ scheitern in den komplexesten Szenarien.

Diese Ergebnisse verdeutlichen deutliche Lücken in der Fähigkeit von Sprachmodellen, strukturiertes Denken unter realen Beschränkungen zu meistern. Gleichzeitig liefert die Studie ein rigoroses Testumfeld, das als Grundlage für die Entwicklung leistungsfähigerer LLM‑Assistenten dienen kann, die künftig echte Stromnetz‑Optimierungsaufgaben übernehmen.