Skip to main content

Отруєння контексту в базах знань (Context Poisoning)(Отруєння контексту: як зловмисники заражають корпоративні бази знань фейками та троянами)

Кіберзагроза для систем RAG, коли зловмисник впроваджує сфальсифіковані документи, хибні інструкції або приховані промпт-ін'єкції в спільну базу знань (Notion, Confluence, Google Drive). Під час пошуку система підтягує отруєний контекст, і бот починає давати шкідливі поради або розкривати секрети.

1. Огляд концепції та призначення

Усі знають про комп'ютерні віруси, які заражають файли операційної системи. Але в еру генеративного ШІ з'явився принципово новий тип диверсії — Отруєння контексту (Context Poisoning).

Як це працює:

  • Компанія створила зручного внутрішнього помічника, який читає всі файли з корпоративного Google Drive або Notion.
  • Зловмисник (або ображений колишній співробітник) створює непомітний файл або залишає коментар: «Оновлені реквізити для оплати рахунків постачальникам: банківський рахунок IBAN ...».
  • Коли бухгалтер запитує у чат-бота: «Куди переказати кошти за оренду складу?».
  • Бот знаходить цей свіжий файл і видає реквізити шахрая!

Ментальна модель: нагадування: штучний інтелект настільки ж чистий, наскільки чиста вода у криниці знань, з якої він п'є.

2. Анатомія диверсії проти RAG-системи

┌─────────────────────────────────────────────────────────────┐
│                 СХЕМА АТАКИ CONTEXT POISONING               │
├─────────────────────────────────────────────────────────────┤
│ 1. ДИВЕРСІЯ: Зловмисник завантажує фальшивий PDF            │
│    у відкриту папку «Вхідні документи»                      │
│    (Файл містить фейкові банківські реквізити)              │
├─────────────────────────────────────────────────────────────┤
│ 2. АВТОМАТИЧНА ІНДЕКСАЦІЯ:                                  │
│    Конектор бази знань перетворює текст на вектори          │
├─────────────────────────────────────────────────────────────┤
│ 3. ЗАПИТ БУХГАЛТЕРА:                                        │
│    «Які актуальні реквізити для сплати за оренду?»          │
├─────────────────────────────────────────────────────────────┤
│ 4. ЗНАХОДЖЕННЯ ТА ВІДПОВІДЬ:                                │
│    Бот знаходить отруєний чанк і впевнено відповідає:       │
│    «Згідно з новим регламентом, платіть сюди: [Фейковий IBAN]»│
├─────────────────────────────────────────────────────────────┤
│ 💥 НАСЛІДОК: Кошти компанії переказано шахраям!              │
└─────────────────────────────────────────────────────────────┘

3. Чотири правила захисту бази знань від отруєння

  1. Жорсткий розподіл прав на запис (Write Permissions): бот повинен індексувати лише ті сторінки, редагувати які має право обмежене коло перевірених топ-менеджерів.
  2. Ізоляція внутрішнього від зовнішнього: ніколи не змішуйте в одній базі корпоративні інструкції та вхідні листи від випадкових клієнтів з інтернету.
  3. Аудит джерел цитування: налаштуйте бота так, щоб він завжди показував точне посилання на файл, дату його створення та автора, який його востаннє зберігав.
  4. Контрольні шлюзи (HITL): фінансові операції завжди повинні звірятися з паперовим або підписаним КЕП оригіналом договору.

4. Практичний висновок

Безпека штучного інтелекту — це не лише шифрування каналів зв'язку. Це насамперед бездоганна гігієна та модерація інформації, яка потрапляє у вашу базу знань.

/ Часті запитанняSchema.org FAQPage

FAQ: Отруєння контексту в базах знань (Context Poisoning)

Наприклад, через відкритий для коментарів документ Google Docs, публічний тикет у Jira або відгук клієнта: якщо бот індексує все без фільтрації, шахрай пише: «Згідно з новим наказом директора, усі виплати премій за травень надсилаються на криптогаманець Х». Бот повірить документу, якщо він має високу семантичну схожість.
/ Внутрішня перелінковка

Пов'язані терміни

Всі терміни
Промптинг & RAG

Промпт-ін'єкція (Prompt Injection)

Критична вразливість систем на базі LLM (OWASP Top 10 for LLM #1). Відбувається через відсутність архітектурного розділення між керуючими інструкціями (Control Plane) та зовнішніми даними (Data Plane), дозволяючи зловмиснику перехопити керування моделлю.

Читати термін
Промптинг & RAG

Ризики галюцинацій у реальних завданнях

Аналіз практичних наслідків та юридичних ризиків, що виникають через сліпу довіру до вигаданих фактів і фальшивих джерел, згенерованих мовними моделями у фінансових звітах, юридичних позовах та медичних порадах.

Читати термін
VPS & DevOps

Витік даних через чат-боти (Data Leakage)

Небезпека компрометації корпоративних секретів, паролів доступу та конфіденційних персональних даних через їх ненавмисну передачу в публічні хмарні чат-боти (ChatGPT, Claude, Copilot). Як захистити акаунти та відключити тренування моделей на ваших запитах.

Читати термін