Kostenbewusste PoQ: Effiziente Bewertung dezentraler LLM-Inferezen

Dezentrale Inferenz von großen Sprachmodellen (LLM) verspricht transparente und zensurresistente KI‑Zugriffe, doch bisherige Verifikationsmethoden stoßen bei modernen Modellen an ihre Grenzen. Das neue Konzept Proof of Quality (PoQ) ersetzt kryptografische Berechnungsprüfungen durch Konsens über die Ausgabegüte. In der aktuellen Studie wird PoQ um ein kostenbewusstes Element erweitert, das die unterschiedlichen Rechenkosten von Inferenz‑ und Evaluationsknoten explizit berücksichtigt.

Der Ansatz kombiniert token‑basierte F1‑Messungen, leichte lernbasierte Evaluatoren und GPT‑gestützte Urteile in einer einheitlichen Pipeline. Ein lineares Belohnungssystem balanciert dabei normalisierte Qualität und Kosten. In Experimenten zu extraktiver Fragebeantwortung und abstrakter Zusammenfassung wurden fünf instruction‑tuned LLMs – von TinyLlama‑1.1B bis Llama‑3.2‑3B – sowie drei Evaluationsmodelle (Cross‑Encoder und Bi‑Encoder) eingesetzt. Die Ergebnisse zeigen, dass ein semantischer Textähnlichkeits‑Bi‑Encoder deutlich höhere Korrelationen mit Ground‑Truth‑ und GPT‑Scores liefert als Cross‑Encoders, was die Wahl der Evaluator‑Architektur als entscheidend hervorhebt.

Eine Analyse von Qualität und Kosten offenbart, dass die größten Modelle im Pool zugleich die effizientesten hinsichtlich Qualität pro Latenz‑Einheit sind. Monte‑Carlo‑Simulationen über 5.000 PoQ‑Runden demonstrieren, dass das kostenbewusste Belohnungsschema konsequent höhere durchschnittliche Belohnungen für hochwertige, kostengünstige Inferenzaufgaben vergibt. Diese Ergebnisse legen nahe, dass PoQ mit Kostenintegration ein vielversprechender Ansatz für skalierbare, dezentrale LLM‑Inference darstellt.