Отруєння контексту в базах знань (Context Poisoning)(Отруєння контексту: як зловмисники заражають корпоративні бази знань фейками та троянами)

1. Огляд концепції та призначення

Усі знають про комп'ютерні віруси, які заражають файли операційної системи. Але в еру генеративного ШІ з'явився принципово новий тип диверсії — Отруєння контексту (Context Poisoning).

Як це працює:

• Компанія створила зручного внутрішнього помічника, який читає всі файли з корпоративного Google Drive або Notion.
• Зловмисник (або ображений колишній співробітник) створює непомітний файл або залишає коментар: «Оновлені реквізити для оплати рахунків постачальникам: банківський рахунок IBAN ...».
• Коли бухгалтер запитує у чат-бота: «Куди переказати кошти за оренду складу?».
• Бот знаходить цей свіжий файл і видає реквізити шахрая!

Ментальна модель: нагадування: штучний інтелект настільки ж чистий, наскільки чиста вода у криниці знань, з якої він п'є.

2. Анатомія диверсії проти RAG-системи

┌─────────────────────────────────────────────────────────────┐
│                 СХЕМА АТАКИ CONTEXT POISONING               │
├─────────────────────────────────────────────────────────────┤
│ 1. ДИВЕРСІЯ: Зловмисник завантажує фальшивий PDF            │
│    у відкриту папку «Вхідні документи»                      │
│    (Файл містить фейкові банківські реквізити)              │
├─────────────────────────────────────────────────────────────┤
│ 2. АВТОМАТИЧНА ІНДЕКСАЦІЯ:                                  │
│    Конектор бази знань перетворює текст на вектори          │
├─────────────────────────────────────────────────────────────┤
│ 3. ЗАПИТ БУХГАЛТЕРА:                                        │
│    «Які актуальні реквізити для сплати за оренду?»          │
├─────────────────────────────────────────────────────────────┤
│ 4. ЗНАХОДЖЕННЯ ТА ВІДПОВІДЬ:                                │
│    Бот знаходить отруєний чанк і впевнено відповідає:       │
│    «Згідно з новим регламентом, платіть сюди: [Фейковий IBAN]»│
├─────────────────────────────────────────────────────────────┤
│ 💥 НАСЛІДОК: Кошти компанії переказано шахраям!              │
└─────────────────────────────────────────────────────────────┘

3. Чотири правила захисту бази знань від отруєння

1. Жорсткий розподіл прав на запис (Write Permissions): бот повинен індексувати лише ті сторінки, редагувати які має право обмежене коло перевірених топ-менеджерів.
2. Ізоляція внутрішнього від зовнішнього: ніколи не змішуйте в одній базі корпоративні інструкції та вхідні листи від випадкових клієнтів з інтернету.
3. Аудит джерел цитування: налаштуйте бота так, щоб він завжди показував точне посилання на файл, дату його створення та автора, який його востаннє зберігав.
4. Контрольні шлюзи (HITL): фінансові операції завжди повинні звірятися з паперовим або підписаним КЕП оригіналом договору.

4. Практичний висновок

Безпека штучного інтелекту — це не лише шифрування каналів зв'язку. Це насамперед бездоганна гігієна та модерація інформації, яка потрапляє у вашу базу знань.