Quantitative Rollenklarheit verbessert Konsistenz und Leistung in Multi-Agenten

In modernen Multi‑Agenten‑Systemen, die auf großen Sprachmodellen (LLMs) basieren, stellt die Missachtung von Rollenbeschreibungen ein zentrales Problem dar. Wenn ein Agent die für ihn definierten Aufgaben und Grenzen nicht einhält, kann er sich wie ein anderer Agent verhalten und damit die gesamte Zusammenarbeit stören.

Um diesem Problem entgegenzuwirken, wurde ein neues Verfahren zur quantitativen Rollenklarheit entwickelt. Zunächst wird eine Rollen‑Zuweisungsmatrix S(φ) erstellt, die die semantische Ähnlichkeit zwischen dem Verhalten eines Agenten und der Beschreibung seiner Rolle misst. Anschließend wird daraus die Rollen‑Klarheitsmatrix M(φ) = softmax(S(φ)) – I gebildet, wobei I die Einheitsmatrix ist. Der Frobenius‑Normwert von M(φ) gibt an, wie gut die Rollenbeschreibungen mit dem tatsächlichen Verhalten übereinstimmen. Dieser Wert wird als Regularisierungs­term in einen leichten Fein‑Tuning‑Prozess integriert, um die Rollen­konsistenz zu erhöhen.

Die Experimente wurden im ChatDev‑Multi‑Agenten‑Framework durchgeführt. Bei den Modellen Qwen und Llama sank die Rate von Rollen‑Überschreitungen drastisch: von 46,4 % auf 8,4 % bzw. von 43,4 % auf 0,2 %. Gleichzeitig stiegen die Rollen‑Klarheits‑Scores von 0,5328 auf 0,9097 (Qwen) und von 0,5007 auf 0,8530 (Llama). Die Erfolgsraten der Aufgaben verbesserten sich von 0,6769 auf 0,6909 (Qwen) und von 0,6174 auf 0,6763 (Llama).

Diese Ergebnisse zeigen, dass eine systematische Messung und Optimierung der Rollenklarheit die Konsistenz von Agenten deutlich steigert und gleichzeitig die Gesamtleistung des Systems verbessert. Das Verfahren bietet damit einen vielversprechenden Ansatz für die Entwicklung zuverlässiger, rollenbasierter Multi‑Agenten‑Anwendungen.