Kontextvergiftung in Wissensdatenbanken (Context Poisoning)

1. Überblick über das Konzept und den Zweck

Jeder kennt Computerviren, die Dateien im Betriebssystem infizieren. Doch in der Ära des generativen KI hat sich eine grundlegend neue Form der Sabotage herausgebildet – Context Poisoning.

So funktioniert es:

• Ein Unternehmen hat einen praktischen internen Assistenten entwickelt, der alle Dateien aus dem unternehmensweiten Google Drive oder Notion liest.
• Ein Angreifer (oder ein verärgerter ehemaliger Mitarbeiter) erstellt eine unauffällige Datei oder hinterlässt einen Kommentar: „Aktualisierte Zahlungsdaten für Lieferantenrechnungen: IBAN ...“.
• Wenn die Buchhaltung den Chatbot fragt: „Wohin sollen wir die Miete für das Lagerhaus überweisen?“.
• Findet der Bot diese neue Datei und gibt die Kontodaten des Betrügers aus!

Mentales Modell zur Erinnerung: KI ist nur so sauber wie das Wasser im Brunnen des Wissens, aus dem sie trinkt.

2. Anatomie eines Angriffs auf RAG-Systeme

┌─────────────────────────────────────────────────────────────┐
│                 СХЕМА АТАКИ CONTEXT POISONING               │
├─────────────────────────────────────────────────────────────┤
│ 1. ДИВЕРСІЯ: Зловмисник завантажує фальшивий PDF            │
│    у відкриту папку «Вхідні документи»                      │
│    (Файл містить фейкові банківські реквізити)              │
├─────────────────────────────────────────────────────────────┤
│ 2. АВТОМАТИЧНА ІНДЕКСАЦІЯ:                                  │
│    Конектор бази знань перетворює текст на вектори          │
├─────────────────────────────────────────────────────────────┤
│ 3. ЗАПИТ БУХГАЛТЕРА:                                        │
│    «Які актуальні реквізити для сплати за оренду?»          │
├─────────────────────────────────────────────────────────────┤
│ 4. ЗНАХОДЖЕННЯ ТА ВІДПОВІДЬ:                                │
│    Бот знаходить отруєний чанк і впевнено відповідає:       │
│    «Згідно з новим регламентом, платіть сюди: [Фейковий IBAN]»│
├─────────────────────────────────────────────────────────────┤
│ 💥 НАСЛІДОК: Кошти компанії переказано шахраям!              │
└─────────────────────────────────────────────────────────────┘

3. Vier Regeln zum Schutz der Wissensbasis vor Vergiftung

1. Strikte Trennung der Schreibrechte (Write Permissions): Der Bot sollte nur solche Seiten indexieren, die von einem begrenzten Kreis verifizierter Top-Manager bearbeitet werden dürfen.
2. Isolation von Internem und Externem: Vermischen Sie niemals Unternehmensanweisungen und eingehende E-Mails von zufälligen Kunden aus dem Internet in derselben Datenbank.
3. Audit der Zitierquellen: Konfigurieren Sie den Bot so, dass er stets den genauen Link zur Datei, das Erstellungsdatum sowie den Autor anzeigt, der sie zuletzt gespeichert hat.
4. Kontrollschleusen (HITL): Finanztransaktionen müssen immer gegen das papierne oder mit einer qualifizierten elektronischen Signatur versehene Original des Vertrags abgeglichen werden.

4. Praktische Schlussfolgerung

Die Sicherheit von KI beschränkt sich nicht nur auf die Verschlüsselung der Kommunikationskanäle. Es geht vor allem um makellose Hygiene und Moderation der Informationen, die in Ihre Wissensbasis gelangen.