Intelligente Ungehorsamkeit: Spieltheoretisches Modell für sichere Assistenz

In der gemeinsamen Steuerung von Mensch und Maschine entsteht ein kritischer Konflikt: Der automatisierte Assistent muss entscheiden, ob er einer menschlichen Anweisung folgt oder sie absichtlich ignoriert, um Schaden zu verhindern. Dieses Verhalten, das als intelligente Ungehorsamkeit bezeichnet wird, steht im Mittelpunkt einer neuen Studie.

Die Autoren stellen das „Intelligente Ungehorsamkeits-Spiel“ (IDG) vor – ein sequentielles spieltheoretisches Modell, das auf Stackelberg-Spielen basiert. Es beschreibt die Interaktion zwischen einem menschlichen Führer und einem assistierenden Folger, wobei asymmetrische Informationen eine zentrale Rolle spielen. Durch die Analyse des IDG werden optimale Strategien für beide Akteure in mehrstufigen Szenarien bestimmt und Phänomene wie „Sicherheitstraps“ aufgezeigt, bei denen das System dauerhaft Schaden vermeidet, aber das Ziel des Menschen nicht erreicht.

Das Modell liefert die notwendige mathematische Basis, um Algorithmen zu entwickeln, die sichere Nichtkompliance lernen, und ermöglicht gleichzeitig die Untersuchung, wie Menschen ungehorsame KI wahrnehmen und ihr Vertrauen schenken. Darüber hinaus wird das IDG in ein Multi-Agenten-Markov-Entscheidungsprozess-Format überführt, das als kompakte Testumgebung für das Training von Reinforcement-Learning-Agenten dient.