Matroid-basierte Strukturierung: LLM-Agenten optimal personalisieren

In einer neuen Studie wird gezeigt, wie große Sprachmodelle (LLM) effizient auf individuelle Nutzerdaten abgestimmt werden können, ohne dabei die Privatsphäre zu stark zu gefährden. Der Ansatz nutzt die Tatsache, dass die Nutzenzunahme beim Hinzufügen von Nutzerdaten häufig submodular ist – ein Merkmal, das klassische Greedy-Algorithmen nahezu optimal macht.

Allerdings stoßen traditionelle Auswahlverfahren an ihre Grenzen, wenn reale Einschränkungen wie logische Abhängigkeiten, Quoten für bestimmte Kategorien oder hierarchische Regeln berücksichtigt werden müssen. Solche Bedingungen verletzen die Annahmen, die für einfache Teilmengen-Auswahlalgorithmen gelten.

Die Autoren stellen eine systematische Methode vor, um diese komplexen Einschränkungen formal zu modellieren. Durch einen Kompilierungsprozess wird das Wissensgraph eines Nutzers in abstrakte „Makro-Facetten“ überführt. Sie beweisen, dass die häufigsten hierarchischen und quota-basierten Beschränkungen über diese Facetten ein laminarer Matroid sind.

Diese theoretische Erkenntnis ermöglicht es, die strukturierte Personalisierung als submodulare Maximierung unter einer Matroid-Beschränkung zu formulieren. Damit lassen sich Greedy-Algorithmen mit konstanten Approximationsgarantien einsetzen, während die kontinuierliche Greedy-Variante sogar einen 1 – 1/e‑Faktor erreicht. Das Ergebnis eröffnet einen vielversprechenden Weg, LLM-Agenten mit minimalen Datenaufwand realistisch und datenschutzkonform zu personalisieren.