Agentenbasierte Bewertung von KI: Logarithmische Scores vs. Power‑Law Entdeckungen

In einer wegweisenden Studie wurden 960 Testläufe mit zwei Modellpaaren über 15 Aufgaben durchgeführt, um die Zuverlässigkeit von LLM‑basierten Agenten als Gutachter für Konversations‑KI zu prüfen. Die Agenten, die mit spezifischen Persönlichkeitsprofilen (Big‑Five‑Personas) konditioniert wurden, lieferten Bewertungen, die sich in einer Turing‑ähnlichen Validierung nicht von menschlichen Ratern unterscheiden.

Ein entscheidendes Ergebnis zeigte eine klare Trennung zwischen der Verbesserung der Qualitäts‑Scores und der Entdeckung neuer Probleme. Während die Scores mit zunehmender Panelgröße logarithmisch ansteigen, folgen die einzigartigen Problem‑Entdeckungen einer sublinearen Power‑Law‑Kurve. Beide Kennzahlen weisen abnehmende Renditen auf, jedoch erreichen die Scores etwa doppelt so schnell eine Sättigung wie die Entdeckungen.

Die Autoren vermuten, dass diese Dynamik auf einer Power‑Law‑Verteilung des Problemraums beruht: kritische Fehler werden bereits von kleinen Panels erkannt, während seltene Randfälle erst bei größeren Panels sichtbar werden – ein Phänomen, das an Arten‑Anhäufungskurven in der Ökologie erinnert. Die Vielfalt der Agenten‑Ensembles, gesteuert durch die Persona‑Konditionierung, führt dazu, dass unterschiedliche Qualitätsdimensionen systematisch untersucht werden.

Ein kontrolliertes Ablations‑Experiment bestätigte, dass die strukturierte Persona‑Konditionierung – nicht bloßes Prompting – die beobachteten Skalierungseigenschaften erzeugt. Zusätzlich fungieren Experten‑Gutachter als adversariale Prüfer, die die Entdeckung von Problemen in die Schwanzregion der Verteilung treiben. Diese Erkenntnisse legen nahe, dass gezielte Ensemble‑Diversität ein Schlüssel zur effizienten Bewertung und Fehlererkennung in KI‑Systemen ist.