Neue Methode mit fuzzy AHP liefert präzisere Bewertungen großer Sprachmodelle

Die Bewertung großer Sprachmodelle (LLMs) bleibt ein entscheidendes Hindernis, weil herkömmliche direkte Punktzahlen oft inkonsistent und undurchsichtig sind. In einer neuen Studie wurde der Analytic Hierarchy Process (AHP) speziell für die Bewertung von LLMs angepasst und um eine „confidence‑aware“ Fuzzy‑AHP (FAHP) erweitert. Diese Variante nutzt dreieckige fuzzy‑Zahlen, die durch von den Modellen generierte Vertrauenswerte moduliert werden.

Durch die systematische Validierung auf dem Benchmark JudgeBench zerlegt die strukturierte Methode die Bewertung in explizite Kriterien und integriert eine Unsicherheits‑bewusste Aggregation. Das Ergebnis sind deutlich kalibriertere Urteile, die die Komplexität der Modellantworten besser widerspiegeln.

Umfangreiche Experimente zeigen, dass sowohl die klassische als auch die fuzzy‑basierte AHP-Variante die direkte Bewertung übertrifft – insbesondere die FAHP‑Version liefert bei unsicheren Vergleichsszenarien die stabilste Leistung. Aufbauend auf diesen Erkenntnissen wurde DualJudge entwickelt, ein hybrides Framework, das intuitiv direkte Scores mit strukturierten AHP‑Ergebnissen kombiniert und dabei konsistenz‑bewusste Gewichtungen nutzt. DualJudge erreicht damit einen neuen Stand der Technik und demonstriert die komplementären Stärken von intuitiven und deliberativen Bewertungsansätzen.

Die Ergebnisse legen nahe, dass eine Unsicherheits‑bewusste, strukturierte Denkweise ein prinzipieller Weg ist, um die Zuverlässigkeit von LLM‑Bewertungen zu erhöhen. Der zugehörige Code steht auf GitHub zur Verfügung: https://github.com/hreyulog/AHP_llm_judge.