Zatrucie kontekstu w bazach wiedzy (Context Poisoning)

1. Przegląd koncepcji i przeznaczenia

Wszyscy znają komputery wirusy, które infekują pliki systemu operacyjnego. Jednak w erze generatywnego AI pojawił się zasadniczo nowy typ sabotażu — Context Poisoning (zatrucie kontekstu).

Jak to działa:

• Firma stworzyła wygodnego wewnętrznego asystenta, który czyta wszystkie pliki z korporacyjnego Google Drive lub Notion.
• Napastnik (lub obrażony były pracownik) tworzy niezauważalny plik albo zostawia komentarz: «Zaktualizowane dane do płatności faktur dla dostawców: numer konta IBAN ...».
• Gdy księgowy pyta chatbota: «Na jaki rachunek przelać pieniądze za wynajem magazynu?».
• Bot znajduje ten świeży plik i podaje dane oszustwa!

Model mentalny: przypomnienie: sztuczna inteligencja jest tak czysta, jak czysta jest woda ze studni wiedzy, z której pije.

2. Anatomia sabotażu wymierzonego w systemy RAG

┌─────────────────────────────────────────────────────────────┐
│                 SCHEMAT ATAKU: ZATRUCIE KONTEKSTU           │
├─────────────────────────────────────────────────────────────┤
│ 1. DYWERSJA: Napastnik wgrywa fałszywy plik PDF             │
│    do otwartego folderu „Dokumenty przychodzące”            │
│    (Plik zawiera fałszywe dane bankowe)                     │
├─────────────────────────────────────────────────────────────┤
│ 2. AUTOMATYCZNA INDEKSACJA:                                 │
│    Konektor bazy wiedzy przekształca tekst na wektory       │
├─────────────────────────────────────────────────────────────┤
│ 3. ZAPYTANIE KSIĘGOWEGO:                                    │
│    „Jakie są aktualne dane do przelewu za czynsz?”          │
├─────────────────────────────────────────────────────────────┤
│ 4. WYSZUKIWANIE I ODPOWIEDŹ:                                │
│    Bot znajduje zatruty fragment i pewnie odpowiada:        │
│    „Zgodnie z nowym regulaminem, proszę wpłacić tutaj: [Fałszywy IBAN]”│
├─────────────────────────────────────────────────────────────┤
│ 💥 SKUTEK: Środki firmy zostały przelane oszustom!          │
└─────────────────────────────────────────────────────────────┘

3. Cztery zasady ochrony bazy wiedzy przed zatruciem

1. Ścisły podział uprawnień do zapisu (Write Permissions): bot powinien indeksować wyłącznie te strony, które mają prawo edytować ograniczone grono zweryfikowanych menedżerów najwyższego szczebla.
2. Izolacja danych wewnętrznych od zewnętrznych: nigdy nie mieszajcie w jednej bazie korporacyjnych instrukcji oraz wiadomości przychodzących od przypadkowych klientów z internetu.
3. Audyt źródeł cytowań: skonfigurujcie bota tak, aby zawsze wyświetlał dokładne odniesienie do pliku, datę jego utworzenia oraz autora, który ostatnio go zapisał.
4. Kontrolne bramki (HITL – Human-in-the-Loop): operacje finansowe muszą być zawsze weryfikowane na podstawie papierowego lub podpisanego kwalifikowanym podpisem elektronicznym oryginału umowy.

4. Praktyczny wniosek

Bezpieczeństwo sztucznej inteligencji to nie tylko szyfrowanie kanałów komunikacji. To przede wszystkim nienaganna higiena i moderacja informacji, które trafiają do waszej bazy wiedzy.