Forschung arXiv – cs.AI

ProGRank: Verteidigung gegen Corpus‑Poisoning bei Dense‑Retriever RAG

Die neue Methode ProGRank schützt Retrieval‑Augmented Generation (RAG) vor Corpus‑Poisoning, einem Angriff, bei dem Angreifer Passagen manipulieren, damit sie in den Top‑K‑Ergebnissen für bestimmte Suchanfragen erschein…

≈1 Min. Lesezeit Originalquelle
Kernaussagen
Das nimmst du aus dem Beitrag mit
  • Die neue Methode ProGRank schützt Retrieval‑Augmented Generation (RAG) vor Corpus‑Poisoning, einem Angriff, bei dem Angreifer Passagen manipulieren, damit sie in den Top…
  • Im Gegensatz zu bisherigen Verteidigungen, die auf Inhaltsfilterung, Hilfsmodellen oder Generator‑Logik setzen, arbeitet ProGRank ausschließlich auf der Retriever‑Seite.
  • Die Technik ist post‑hoc und erfordert kein erneutes Training des Modells.

Die neue Methode ProGRank schützt Retrieval‑Augmented Generation (RAG) vor Corpus‑Poisoning, einem Angriff, bei dem Angreifer Passagen manipulieren, damit sie in den Top‑K‑Ergebnissen für bestimmte Suchanfragen erscheinen und die nachfolgende Textgenerierung beeinflussen.

Im Gegensatz zu bisherigen Verteidigungen, die auf Inhaltsfilterung, Hilfsmodellen oder Generator‑Logik setzen, arbeitet ProGRank ausschließlich auf der Retriever‑Seite. Die Technik ist post‑hoc und erfordert kein erneutes Training des Modells.

ProGRank testet jedes Anfrage‑Passage‑Paar mit sanften, zufälligen Störungen und extrahiert Probe‑Gradienten aus einer kleinen, festen Parametergruppe des Retrievers. Aus diesen Signalen werden zwei Instabilitätsmaße – die Repräsentationskonsistenz und das Dispersion‑Risiko – berechnet und mit einem Score‑Gate kombiniert, um die Rangfolge neu zu bestimmen.

Die Originalpassagen bleiben unverändert, und die Methode kann auch in einer Surrogat‑Variante eingesetzt werden, falls der eingesetzte Retriever nicht verfügbar ist. Umfangreiche Experimente auf drei Datensätzen, drei Dense‑Retriever‑Backbones und verschiedenen Angriffsszenarien zeigen, dass ProGRank eine stärkere Verteidigung bietet, einen guten Kompromiss zwischen Robustheit und Nutzen erzielt und auch bei adaptiven, ausweichenden Angriffen konkurrenzfähig bleibt.

Einordnen in 60 Sekunden

Welche Linse du auf diese Meldung legen solltest

Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.

Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.

Was veraendert sich praktisch?
Ist das eher Signal, Produkt oder nur kurzfristiger Hype?
Begriffe zum Einordnen

Kontext ohne Glossar-Suche

ProGRank
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Retrieval-Augmented Generation
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Corpus Poisoning
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
arXiv – cs.AI
Diese Quelle setzt den Ausgangspunkt fuer die Meldung. Pruefe immer, ob sie eher Forschung, Produktmarketing oder Praxisperspektive liefert.
Naechste Schritte

Aehnliche Entwicklungen zum Weiterlesen