HLER: KI-gestützte Forschung mit menschlicher Kontrolle in der Ökonomie

Mit dem Aufkommen großer Sprachmodelle (LLMs) entstehen agentenbasierte Systeme, die wissenschaftliche Forschungsabläufe weitgehend automatisieren können. In der Regel arbeiten diese Systeme völlig autonom: Sie generieren Forschungsideen, führen Analysen durch und verfassen Manuskripte, ohne dass ein Mensch eingreifen muss.

Für die empirische Wirtschaftsforschung und die Sozialwissenschaften ist ein solcher Ansatz jedoch nicht ausreichend. Forschungsfragen müssen auf vorhandenen Datensätzen basieren, Identifikationsstrategien erfordern sorgfältige Gestaltung und die Bewertung der ökonomischen Relevanz bleibt ein menschliches Urteil. Hier setzt HLER – Human-in-the-Loop Economic Research – an: ein Multi‑Agenten‑Framework, das Automatisierung mit gezielter menschlicher Aufsicht verbindet.

HLER koordiniert spezialisierte Agenten für Datenprüfung, Datenprofiling, Hypothesenbildung, ökonometrische Analyse, Manuskripterstellung und automatisiertes Review. Ein zentrales Merkmal ist die datensatzbewusste Hypothesenbildung, die nur Fragen zulässt, die durch die Struktur, Variablenverfügbarkeit und Verteilungskriterien des Datensatzes unterstützt werden. Das System nutzt zudem eine zweifache Schleifenarchitektur: eine Qualitätsprüfung der Fragen und eine Revisionsschleife, in der automatisiertes Review zu erneuten Analysen und Manuskriptüberarbeitungen führt. Entscheidend ist, dass an kritischen Punkten menschliche Entscheidungsgate eingebaut sind, sodass Forscher den automatisierten Prozess gezielt steuern können. Experimente mit drei empirischen Datensätzen zeigen, dass die datensatzbewusste Hypothesenbildung die Qualität der Forschungsergebnisse steigert und den gesamten Forschungsprozess effizienter gestaltet.