Twin-Pass CoT-Ensembling steigert die Vertrauenswürdigkeit LLMs in der Telekom

In der Telekommunikation werden große Sprachmodelle (LLMs) zunehmend eingesetzt, um komplexe Aufgaben wie die Analyse von 3GPP-Spezifikationen oder die Fehlerdiagnose in O‑RAN‑Netzwerken zu unterstützen. Ein entscheidendes Problem bleibt jedoch: Die von LLMs generierten Vertrauenswerte sind häufig voreingenommen und unzuverlässig, was zu systematischer Überbewertung der eigenen Genauigkeit führt.

In einer aktuellen Studie wurden die Gemma‑3‑Modelle (4 B, 12 B und 27 B Parameter) anhand der Benchmarks TeleQnA, ORANBench und srsRANBench untersucht. Die Ergebnisse zeigten, dass herkömmliche, ein‑malige, verbalisierte Vertrauensschätzungen die tatsächliche Richtigkeit der Vorhersagen nicht widerspiegeln und oft falsche Ergebnisse mit hoher Zuversicht bewerten.

Um diesem Problem entgegenzuwirken, wurde ein neues Verfahren namens Twin‑Pass Chain of Thought (CoT)‑Ensembling entwickelt. Dabei werden zwei unabhängige Denkprozesse durchgeführt und deren Einschätzungen zu einem aggregierten, kalibrierten Vertrauenswert zusammengeführt. Diese Methode reduziert die Expected Calibration Error (ECE) um bis zu 88 % und verbessert damit die Zuverlässigkeit der Selbstbewertung von LLMs erheblich.

Die Ergebnisse unterstreichen die Grenzen der aktuellen Praktiken zur Vertrauensschätzung und zeigen einen praktikablen Weg auf, wie LLM‑Ausgaben in der Telekommunikation sicherer und nachvollziehbarer bewertet werden können.