Generatives Active Testing: Effiziente LLM‑Bewertung durch Proxy‑Task‑Anpassung

Mit der rasanten Verbreitung vortrainierter Large Language Models (LLMs) wächst die Nachfrage nach domänenspezifischen Testsets, insbesondere in sensiblen Bereichen wie Gesundheit und Biomedizin. Die Erstellung solcher Benchmarks ist jedoch kostenintensiv, weil sie oft Expertenannotation erfordert.

Um dieses Problem zu lösen, stellt das neue Verfahren Generative Active Testing (GAT) vor. GAT nutzt LLMs als Ersatzmodelle, um den Auswahlprozess von Testbeispielen zu steuern. Durch einen innovativen Statement‑Adaptation‑Modul werden generative Aufgaben in ein pseudo‑klassifikatorisches Format überführt, wodurch Unsicherheiten auf Sample‑Ebene erfasst werden können.

Die daraus abgeleiteten, zero‑shot‑Acquisition‑Funktionen reduzieren die Schätzfehler um etwa 40 % im Vergleich zu herkömmlichen Sampling‑Baselines. Damit bietet GAT eine skalierbare und kosteneffiziente Lösung für die Bewertung von LLMs in spezialisierten Anwendungsfeldern.