Отравление контекста в базах знаний (Context Poisoning)

1. Обзор концепции и системная проблема

Все знают о компьютерных вирусах, которые заражают файлы операционной системы.
Но в эпоху генеративного ИИ появился принципиально новый тип диверсии — Отравление контекста (Context Poisoning).

Как это работает:

• Компания создала удобного внутреннего помощника, который читает все файлы из корпоративного Google Drive или Notion.
• Злоумышленник (или обиженный бывший сотрудник) создает незаметный файл или оставляет комментарий: «Обновленные реквизиты для оплаты счетов поставщикам: банковский счет IBAN ...».
• Когда бухгалтер спрашивает у чат-бота: «Куда перевести средства за аренду склада?».
• Бот находит этот свежий файл и выдает реквизиты мошенника!

Ментальная модель: напоминание: искусственный интеллект настолько же чист, насколько чиста вода в колодце знаний, из которого он пьет.

2. Архитектурная таксономия и ментальная модель

┌─────────────────────────────────────────────────────────────┐
│                 СХЕМА АТАКИ CONTEXT POISONING               │
├─────────────────────────────────────────────────────────────┤
│ 1. ДИВЕРСИЯ: Злоумышленник загружает фальшивый PDF          │
│    в открытую папку «Входные документы»                      │
│    (Файл содержит фейковые банковские реквизиты)              │
├─────────────────────────────────────────────────────────────┤
│ 2. АВТОМАТИЧЕСКАЯ ИНДЕКСАЦИЯ:                              │
│    Коннектор базы знаний преобразует текст в векторы        │
├─────────────────────────────────────────────────────────────┤
│ 3. ЗАПРОС БУХГАЛТЕРА:                                        │
│    «Какие актуальные реквизиты для оплаты аренды?»          │
├─────────────────────────────────────────────────────────────┤
│ 4. НАХОЖДЕНИЕ И ОТВЕТ:                                      │
│    Бот находит отравленный чанк и уверенно отвечает:         │
│    «Согласно новому регламенту, платите сюда: [Фейковый IBAN]»│
├─────────────────────────────────────────────────────────────┤
│ 💥 ПОСЛЕДСТВИЕ: Средства компании переведены мошенникам!    │
└─────────────────────────────────────────────────────────────┘

3. Технический пайплайн и внутренняя механика

1. Жесткое распределение прав на запись (Write Permissions): бот должен индексировать только те страницы, редактировать которые имеет право ограниченное число проверенных топ-менеджеров.
2. Изоляция внутреннего от внешнего: никогда не смешивайте в одной базе корпоративные инструкции и входящие письма от случайных клиентов из интернета.
3. Аудит источников цитирования: настройте бота так, чтобы он всегда показывал точную ссылку на файл, дату его создания и автора, который его в последний раз сохранял.
4. Контрольные шлюзы (HITL): финансовые операции всегда должны сверяться с бумажным или подписанным КЭП оригиналом договора.

4. Практические инженерные сценарии в продакшене

01. Защита от подделки документов

Настройка бота для индексирования только проверенных источников и использование цифровых подписей для авторизованных документов.

02. Мониторинг и аудит

Регулярный аудит базы знаний для выявления и удаления подозрительных документов и комментариев.

03. Обучение сотрудников

Обучение сотрудников методам выявления и предотвращения атак на базу знаний, включая отравление контекста.

5. Подводные камни, типовые ошибки и безопасность

Безопасность искусственного интеллекта — это не только шифрование каналов связи. Это прежде всего безупречная гигиена и модерация информации, которая попадает в вашу базу знаний.