LLM-basierte Log-Anomalie-Erkennung: Benchmark zeigt starke Zero‑Shot-Leistung

Ein neues Benchmark-Studium aus dem arXiv-Preprint arXiv:2604.12218v1 beleuchtet die Leistungsfähigkeit von Large Language Models (LLMs) bei der Erkennung von Anomalien in System-Logs. Die Autoren vergleichen klassische Log‑Parser, feinabgestimmte Transformer‑Modelle und promptbasierte LLMs über vier große öffentliche Datensätze – HDFS, BGL, Thunderbird und Spirit.

Die Ergebnisse sind beeindruckend: Feinabgestimmte Transformer wie BERT und RoBERTa erzielen die höchsten F1‑Scores zwischen 0,96 und 0,99. Doch die größte Überraschung liegt bei den promptbasierten LLMs – GPT‑3.5, GPT‑4 und LLaMA‑3 – die in Zero‑Shot- und Few‑Shot-Szenarien F1‑Werte von 0,82 bis 0,91 erreichen, ohne dass gelabelte Trainingsdaten benötigt werden. Das macht sie besonders attraktiv für reale Einsatzumgebungen, in denen Anomalien selten und schwer zu kennzeichnen sind.

Darüber hinaus analysieren die Forscher Kosten‑Leistungs‑Verhältnisse, Latenzzeiten und typische Fehlerquellen jedes Ansatzes. Die Studie liefert klare Handlungsempfehlungen für Fachleute, die ihre Log‑Anomalie-Erkennung optimieren wollen, indem sie die richtige Balance zwischen Genauigkeit, Reaktionszeit, Kosten und Datenverfügbarkeit wählen.