Neue Methode nutzt KI-Ausgaben zur besseren Schätzung menschlicher Labels

Eine neue Studie, die auf arXiv veröffentlicht wurde, präsentiert einen innovativen Ansatz namens Generative Augmented Inference (GAI). Dieser Ansatz soll die Genauigkeit von Modellen, die auf menschlich erstellten Labels basieren, erheblich verbessern, indem er die reichhaltigen, aber komplexen Ausgaben großer Sprachmodelle (LLMs) als zusätzliche Informationsquelle nutzt.

Traditionell stützt sich das datengetriebene Operationsmanagement auf teuer erstellte menschliche Labels. Künstliche Intelligenz kann zwar kostengünstige Hilfsdaten liefern, jedoch sind die Beziehungen zwischen KI-Ausgaben und den eigentlichen Zielwerten oft hochdimensional und nicht eindeutig. Konventionelle Methoden behandeln KI-Vorhersagen häufig als direkte Ersatzwerte, was ineffizient oder unzuverlässig sein kann, wenn die Beziehung schwach oder falsch spezifiziert ist.

GAI löst dieses Problem, indem es KI-generierte Outputs als informative Features in die Schätzung einbezieht. Durch eine orthogonale Momentenkonstruktion ermöglicht der Ansatz konsistente Schätzungen und valide Inferenz, selbst wenn die Beziehung zwischen LLM-Ausgaben und menschlichen Labels flexibel und nichtparametrisch ist. Die Methode ist damit robust gegenüber unterschiedlichen Formen der Hilfsinformation.

Die theoretische Analyse zeigt, dass GAI asymptotisch normal verteilt ist und eine „sichere Default“-Eigenschaft besitzt: Im Vergleich zu Modellen, die ausschließlich menschliche Daten nutzen, verbessert GAI die Schätzungseffizienz unter allen möglichen Hilfsinformationen und erzielt sogar strengere Gewinne, sobald die Hilfsdaten vorhersagbar sind.

Empirische Tests belegen die Leistungsfähigkeit von GAI. In Conjoint-Analysen mit schwachen Hilfsdaten senkt GAI die Schätzfehler um etwa 50 % und reduziert den Bedarf an menschlichen Labels um mehr als 75 %. Im Bereich der Einzelhandelspreisgestaltung übertrifft GAI konsequent alternative Schätzmethoden, obwohl alle Modelle dieselben Hilfsdaten nutzen.

Zusammenfassend bietet Generative Augmented Inference eine robuste, effiziente Alternative für datenintensive Anwendungen. Durch die Kombination von KI-Ausgaben mit menschlichen Labels können Unternehmen Kosten senken, die Genauigkeit steigern und potenziell neue Standards in der Operationsforschung setzen.