InstruCoT: LLMs sicher gegen Prompt‑Injection dank vielfältiger Daten

Large‑Language‑Model‑basierte Anwendungen sind heute allgegenwärtig, doch ihre Sicherheit steht unter Druck: Angreifer nutzen Prompt‑Injection (PI), um schädliche Anweisungen in die Eingabe einzuschleusen. Diese Angriffe sind besonders gefährlich, weil die bösartigen Befehle über verschiedene Vektoren gelangen können und sich nahtlos in den Kontext einfügen, sodass sie schwer zu erkennen sind.

Um diesem Problem zu begegnen, hat das Forschungsteam InstruCoT entwickelt – eine Methode, die LLMs mit synthetisch erzeugten, vielfältigen Trainingsdaten versorgt und gleichzeitig ein instruction‑level Chain‑of‑Thought‑Fine‑Tuning einsetzt. Durch diese Kombination lernt das Modell, potenziell gefährliche Anweisungen selbst dann zu identifizieren und abzulehnen, wenn sie in unterschiedlichen Kontexten oder an unerwarteten Stellen auftauchen.

Die Autoren haben InstruCoT an vier führenden LLMs getestet und die Leistung in drei kritischen Bereichen gemessen: Verhaltenabweichung, Datenschutzverletzungen und schädliche Ausgaben. In allen drei Dimensionen übertraf InstruCoT die bisherigen Baselines deutlich, während die Nützlichkeit der Modelle unverändert blieb. Damit bietet InstruCoT einen vielversprechenden Ansatz, um die Sicherheit von LLM‑integrierten Anwendungen nachhaltig zu erhöhen.