IDEA: Framework für interpretierbare und editierbare LLM‑Entscheidungen

Large Language Models (LLMs) werden immer häufiger für wichtige Entscheidungen eingesetzt, doch ihre Verbreitung in Hochrisikobereichen bleibt durch ungenaue Wahrscheinlichkeiten, unzuverlässige Erklärungen und die Schwierigkeit, Expertenwissen präzise einzubinden, stark eingeschränkt. Das neue Framework IDEA löst diese Probleme, indem es das Entscheidungswissen eines LLMs in ein interpretierbares, parametrisches Modell über semantisch sinnvolle Faktoren überführt.

IDEA kombiniert mehrere innovative Techniken: Durch ein gemeinsames Lernen von sprachlichen zu numerischen Zuordnungen und Entscheidungsparametern mittels EM (Expectation‑Maximization) werden die zugrunde liegenden Faktoren exakt erfasst. Korrelierte Stichproben bewahren die Abhängigkeiten zwischen den Faktoren, während die direkte Bearbeitung der Parameter mathematische Garantien für die Kalibrierung liefert. Das Ergebnis ist ein Modell, das nicht nur kalibrierte Wahrscheinlichkeiten erzeugt, sondern auch eine quantitative Mensch‑KI‑Zusammenarbeit ermöglicht.

In Experimenten mit fünf unterschiedlichen Datensätzen erzielte IDEA mit dem Modell Qwen‑3‑32B eine Genauigkeit von 78,6 %, deutlich besser als DeepSeek R1 (68,1 %) und GPT‑5.2 (77,9 %). Das Framework erreicht zudem eine perfekte Ausschlussrate der Faktoren und eine exakte Kalibrierung – Leistungen, die allein durch Prompting nicht erreichbar sind.

Die komplette Implementierung ist frei verfügbar unter https://github.com/leonbig/IDEA und bietet Forschern sowie Praktikern einen leistungsstarken, transparenten Ansatz für die Entscheidungsfindung mit LLMs.