KI mit Unsicherheitsbewusstsein: Datenknappheit mit Informationstheorie meistern
In Bereichen wie Robotik, Telekommunikation und Gesundheitswesen stehen KI‑Systeme häufig vor dem Problem knapper Trainingsdaten. Diese Datenknappheit führt zu epistemischer Unsicherheit – einer reduzierbaren Unsicherheit, die aus unvollständigem Wissen über die zugrunde liegende Datenverteilung entsteht und die Vorhersageleistung grundlegend limitiert.
Die aktuelle Übersicht untersucht zwei ergänzende Ansätze, um in datenarmen Szenarien erfolgreich zu arbeiten. Erstens werden generalisierte Bayessche Lernframeworks vorgestellt, die epistemische Unsicherheit durch verallgemeinerte Posteriorverteilungen im Parameterraum quantifizieren. Ergänzend werden „post‑Bayessche“ Lernmethoden beleuchtet, die über klassische Bayessche Modelle hinausgehen.
Weiterhin werden informationstheoretische Generalisierungsgrenzen präsentiert, die die Beziehung zwischen Trainingsdatenmenge und Vorhersageunsicherheit formalisieren. Diese Grenzen liefern eine theoretische Rechtfertigung für die Verwendung generalisierter Bayesscher Ansätze. Für praktische Anwendungen werden Methoden mit endlichen Stichprobengarantien wie konformes Prediction und konformes Risikokontrolle vorgestellt.
Abschließend wird die jüngste Forschung zur Dateneffizienz beleuchtet, die begrenzte gelabelte Daten mit reichlich Modellvorhersagen oder synthetischen Daten kombiniert. Durch die Betonung von Informationsmaßen wird deutlich, wie Informationstheorie die Auswirkungen von Datenknappheit quantifizieren und adressieren kann.