Neuer Algorithmus erkennt unzuverlässige Themenbereiche von LLMs

Large Language Models (LLMs) haben in den letzten Jahren enorme Fortschritte bei der Beantwortung von Fragen zu einer Vielzahl von Themen erzielt. Dennoch liefern sie gelegentlich voreingenommene, ideologisch gefärbte oder schlicht falsche Antworten, was die Vertrauenswürdigkeit ihrer Ergebnisse stark beeinträchtigt.

Um dieses Problem zu adressieren, hat ein Forschungsteam einen innovativen Ansatz namens GMRL‑BD entwickelt. Der Algorithmus arbeitet ausschließlich mit Black‑Box-Zugriff auf ein beliebiges LLM und nutzt dafür ein allgemeines Wissensgraphenmodell, das aus Wikipedia abgeleitet ist. Durch den Einsatz mehrerer Reinforcement‑Learning‑Agenten wird effizient ermittelt, welche Knoten – also welche Themen – besonders anfällig für voreingenommene Antworten sind.

Die Experimente zeigen, dass GMRL‑BD die Grenzen der Vertrauenswürdigkeit mit nur wenigen Abfragen des Modells zuverlässig identifizieren kann. Damit wird ein praktisches Werkzeug geschaffen, das Entwicklern und Anwendern hilft, die Einsatzbereiche von LLMs besser zu verstehen und zu steuern.

Zusätzlich hat das Team einen neuen Datensatz veröffentlicht, der die populärsten LLMs wie Llama2, Vicuna, Falcon, Qwen2, Gemma2 und Yi‑1.5 enthält. Jeder Eintrag ist mit Labels versehen, die angeben, auf welchen Themen die jeweiligen Modelle wahrscheinlich voreingenommen reagieren. Dieser Datensatz unterstützt die weitere Forschung zur Bias‑Detektion und zur Verbesserung der Vertrauenswürdigkeit von Sprachmodellen.