Benchmark von Multi-Agent-LLM-Architekturen für Finanzdokumente

Die Nutzung großer Sprachmodelle (LLMs) zur strukturierten Extraktion von Informationen aus Finanzdokumenten hat in den letzten Jahren stark zugenommen. Doch die Implementierung solcher Systeme in der Produktion stellt Entwickler vor komplexe architektonische Entscheidungen, für die bislang nur begrenzte empirische Daten vorliegen.

In einer systematischen Benchmark wurden vier Multi‑Agent‑Orchestrierungsarchitekturen – sequentieller Pipeline‑Ansatz, paralleler Fan‑Out mit Merge, hierarchischer Supervisor‑Worker und reflexiver Selbstkorrektur‑Loop – auf fünf führenden LLMs getestet. Die Evaluation basierte auf 10.000 SEC‑Filings (10‑K, 10‑Q und 8‑K) und umfasste 25 Extraktionsfelder, die von Governance‑Strukturen über Executive‑Compensation bis zu finanziellen Kennzahlen reichen. Die Leistungskennzahlen umfassten Feld‑level F1, Dokument‑level Genauigkeit, End‑to‑End‑Latenz, Kosten pro Dokument und Token‑Effizienz.

Die Ergebnisse zeigen, dass die reflexiven Architekturen die höchste Feld‑level F1‑Rate von 0,943 erzielen, jedoch mit Kosten, die 2,3‑fach höher sind als bei sequentiellen Baselines. Die hierarchischen Modelle liegen dagegen auf dem günstigsten Punkt der Kosten‑Genauigkeit‑Pareto‑Grenze (F1 0,921 bei 1,4‑fachen Kosten). Ablationsstudien zu semantischem Caching, Modell‑Routing und adaptiven Retry‑Strategien demonstrieren, dass hybride Konfigurationen bis zu 89 % der Genauigkeitsgewinne der reflexiven Architektur bei lediglich 1,15‑fachen Basiskosten zurückgewinnen können.

Eine Skalierungsanalyse von 1.000 bis 100.000 Dokumenten pro Tag offenbart nichtlineare Durchsatz‑Genauigkeit‑Kurven, die wichtige Hinweise für die Kapazitätsplanung liefern. Diese Erkenntnisse bieten praxisnahe Empfehlungen für Unternehmen, die Multi‑Agent‑LLM‑Systeme für die Verarbeitung von Finanzdokumenten einsetzen wollen, und zeigen, wie man Kosten, Genauigkeit und Durchsatz optimal ausbalanciert.