SmartBench: LLMs im Smart Home – neue Benchmark für Anomalieerkennung

Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) eröffnen spannende Möglichkeiten für smarte Hausassistenten. Durch ihre ausgeprägte Kontextsensitivität können LLMs nicht nur Nutzeranfragen verstehen, sondern auch das Umfeld ihres Einsatzortes analysieren. Ein entscheidender Aspekt dabei ist die Erkennung von Anomalien – also Situationen, in denen ein Gerät oder ein Übergang zwischen Zuständen nicht dem erwarteten Muster entspricht.

Um die Fähigkeiten von LLMs in diesem Bereich systematisch zu prüfen, wurde SmartBench entwickelt. Es handelt sich um das erste Smart‑Home‑Datenset, das sowohl normale als auch anomale Gerätezustände sowie kontextabhängige Übergänge abdeckt. Mit SmartBench können Entwickler und Forscher die Anomalieerkennung von Sprachmodellen gezielt testen und verbessern.

In einer umfassenden Evaluation wurden 13 führende LLMs auf dem Benchmark eingesetzt. Die Ergebnisse zeigen, dass die meisten hochmodernen Modelle noch weit von einer zuverlässigen Anomalieerkennung entfernt sind. So erreichte beispielsweise Claude‑Sonnet‑4.5 lediglich 66,1 % Genauigkeit bei kontextunabhängigen Anomalien und fällt bei kontextabhängigen Fällen sogar auf 57,8 % zurück.

Diese Zahlen verdeutlichen, dass die nächste Generation von LLM‑basierten Smart‑Home‑Assistenten noch erhebliche Fortschritte in der Erkennung und Erklärung von Anomalien machen muss. SmartBench liefert dabei die notwendige Grundlage, um gezielt an diesen Schwachstellen zu arbeiten und die Sicherheit sowie das Nutzererlebnis in intelligenten Haushalten zu erhöhen.