Галлюцинации ИИ (Hallucinations & Confabulations)

1. Обзор концепции и системная проблема

Самая опасная характеристика искусственного интеллекта заключается в разрыве между лингвистической безупречностью и фактической достоверностью:

1. Иллюзия компетентности: Модель пишет о вымышленном API-методе с такой же уверенностью и академическим тоном, как и о официальной документации стандартной библиотеки.
2. Галлюцинация зависимостей: В попытке решить задачу разработчика LLM часто импортирует удобный метод или библиотеку, которых никогда не существовало в реальном мире.
3. Каскадное накопление ошибок (Hallucination Cascades): Если автономный агент принял первое решение на основе галлюцинации, все последующие 10 шагов будут пытаться развить эту несуществующую ветвь реальности, тратя часы времени и бюджет.

Галлюцинации (Hallucinations) — это не баг конкретной нейросети, а неотъемлемая черта авторегрессионных вероятностных систем, которая требует от инженера строгой системы внешнего заземления (Grounding) и детерминированной валидации.

2. Архитектурная таксономия и ментальная модель

В искусственном интеллекте галлюцинации классифицируют по трем основным формам проявления:

• 1. Внутренние галлюцинации (Intrinsic Hallucinations): Ответ модели прямо противоречит информации, которая уже была предоставлена ей в промпте или RAG-контексте (например, в тексте указана цена $50, а модель в выводе пишет $150).
• 2. Внешние галлюцинации (Extrinsic Hallucinations): Модель добавляет детали, которых не было в контексте и которых не существует в реальности (вымышленные статьи законов, ссылки на несуществующие страницы, цитаты людей).
• 3. Кодовые галлюцинации (Code & API Hallucinations):
  • Вымышленные флаги CLI-команд (например, docker run --auto-clean).
  • Несуществующие методы классов (например, вызов db.users.findAndUpsert()).
  • Вымышленные сторонние пакеты npm/pip (угроза Slopsquatting).

3. Технический пайплайн и внутренняя механика

Конвейер инженерного подавления и детекции галлюцинаций:

1. Context Grounding (Привязка к фактам): Использование строгого RAG с промптом-ограничителем: «Отвечай исключительно на основе предоставленных документов. Если ответа нет в тексте, верни 'NO_DATA'».
2. Sampling Parameter Tuning (Калибровка выборки): Установка temperature = 0.0 и снижение top_p для минимизации случайного блуждания по хвостам распределения вероятностей.
3. Deterministic Pre-flight Verification (Детерминированная проверка): Автоматический запуск оракулов: компиляция TypeScript (tsc), проверка наличия импортированного пакета в официальном реестре через API или HTTP HEAD запрос к URL-ссылкам.
4. Adversarial Double-Check (Аудит критика): Легкая модель-судья сравнивает исходный текст с документами источника, помечая любые неподтвержденные предложения (Fact Extraction & NLI Matching).

4. Практические инженерные сценарии в продакшене

01. Pre-flight аудит реестров зависимостей (Защита от Slopsquatting)

Агент написал скрипт и добавил в package.json новый пакет. Прежде чем выполнить npm install, система безопасности отправляет запрос к registry.npmjs.org. Если пакет зарегистрирован менее 48 часов назад или его не существует, действие немедленно блокируется с алертом о подозрении на галлюцинацию или атаку.

02. RAGAS Grounding в корпоративном ассистенте поддержки

Чат-бот отвечает на юридические вопросы сотрудников. Фреймворк автоматически проверяет каждую сгенерированную тезу. Если уровень Faithfulness падает ниже 0.90, пользователь видит сообщение: «Я не могу найти точного пункта в регламенте, свяжитесь с HR-отделом».

03. Сверка схем с OpenAPI / Swagger

Перед вызовом стороннего API кодовый агент обязан сопоставить название функции и ее аргументы с файлом спецификации схемы swagger.json, устраняя вымышленные параметры запросов.

5. Подводные камни, типовые ошибки и безопасность

• Слепая доверие к красивому стилю: Чем лучше модель владеет языком, тем легче человеку поверить в ее выдумки. Всегда требуйте точные ссылки на источники или артефакты выполнения.
• Галлюцинации регуляторных и медицинских норм: Попытка получить совет по налоговому кодексу без подключения актуального текста закона через RAG гарантированно приведет к юридическим штрафам.
• Искусственные галлюцинации через Context Rot: Устаревший или забитый шумом контекст увеличивает частоту галлюцинаций в 3–5 раз. Держите контекст чистым.