Галюцинації ШІ (Hallucinations & Confabulations)(Галюцинації та фактологічна нестабільність LLM)

1. Огляд концепції та системна проблема

Найнебезпечніша властивість штучного інтелекту полягає у розриві між лінгвістичною бездоганністю та фактичною достовірністю:

1. Ілюзія компетентності: Модель пише про вигаданий API-метод таким самим впевненим, академічним тоном, як і про офіційну документацію стандартної бібліотеки.
2. Галюцинація залежностей: У спробі вирішити задачу розробника LLM часто імпортує зручний метод або бібліотеку, яких ніколи не існувало в реальному світі.
3. Каскадне накопичення помилок (Hallucination Cascades): Якщо автономний агент ухвалив перше рішення на основі галюцинації, усі наступні 10 кроків будуть намагатися розвинути цю неіснуючу гілку реальності, марнуючи години часу та бюджет.

Галюцинації (Hallucinations) — це не баг конкретної нейромережі, а невіддільна риса авторегресійних ймовірнісних систем, яка вимагає від інженера суворої системи зовнішнього заземлення (Grounding) та детермінованої валідації.

2. Архітектурна таксономія та ментальна модель

У штучному інтелекті галюцинації класифікують за трьома основними формами прояву:

• 1. Внутрішні галюцинації (Intrinsic Hallucinations): Відповідь моделі прямо суперечить інформації, яка вже була надана їй у промпті чи RAG-контексті (наприклад, у тексті вказано ціну $50, а модель у висновку пише $150).
• 2. Зовнішні галюцинації (Extrinsic Hallucinations): Модель додає деталі, яких не було в контексті і яких не існує в реальності (вигадані статті законів, посилання на неіснуючі сторінки, цитати людей).
• 3. Кодові галюцинації (Code & API Hallucinations):
  • Вигадані прапорці CLI-команд (наприклад, docker run --auto-clean).
  • Неіснуючі методи класів (наприклад, виклик db.users.findAndUpsert()).
  • Вигадані сторонні пакети npm/pip (Slopsquatting threat).

3. Технічний пайплайн та внутрішня механіка

Конвеєр інженерного придушення та детекції галюцинацій:

1. Context Grounding (Прив'язка до фактів): Використання суворого RAG із промптом-обмежувачем: «Відповідай виключно на основі наданих документів. Якщо відповіді немає в тексті, поверни 'NO_DATA'».
2. Sampling Parameter Tuning (Калібрування вибірки): Встановлення temperature = 0.0 та зниження top_p для мінімізації випадкового блукання по хвостах розподілу ймовірностей.
3. Deterministic Pre-flight Verification (Детермінована перевірка): Автоматичний запуск оракулів: компіляція TypeScript (tsc), перевірка наявності імпортованого пакета в офіційному реєстрі через API або HTTP HEAD запит до URL-посилань.
4. Adversarial Double-Check (Аудит критика): Легка модель-суддя порівнює вихідний текст із документами джерела, маркуючи будь-які непідтверджені речення (Fact Extraction & NLI Matching).

4. Практичні інженерні сценарії в продакшені

01. Pre-flight аудит реєстрів залежностей (Захист від Slopsquatting)

Агент написав скрипт і додав у package.json новий пакет. Перш ніж виконати npm install, система безпеки надсилає запит до registry.npmjs.org. Якщо пакет зареєстровано менше 48 годин тому або його не існує, дія негайно блокується з алертом про підозру на галюцинацію або атаку.

02. RAGAS Grounding у корпоративному асистенті підтримки

Чат-бот відповідає на юридичні питання співробітників. Фреймворк автоматично перевіряє кожну згенеровану тезу. Якщо рівень Faithfulness падає нижче 0.90, користувач бачить повідомлення: «Я не можу знайти точного пункту в регламенті, зв'яжіться з HR-відділом».

03. Звірка схем з OpenAPI / Swagger

Перед викликом стороннього API кодовий агент зобов'язаний зіставити назву функції та її аргументи з файлом специфікації схеми swagger.json, усуваючи вигадані параметри запитів.

5. Підводні камені, типові помилки та безпека

• Сліпа довіра до красивого стилю: Чим краще модель володіє мовою, тим легше людині повірити у її вигадки. Завжди вимагайте точні посилання на джерела або артефакти виконання.
• Галюцинації регуляторних та медичних норм: Спроба отримати пораду щодо податкового кодексу без підключеного актуального тексту закону через RAG гарантовано призведе до юридичних штрафів.
• Штучні галюцинації через Context Rot: Застарілий або забитий шумом контекст збільшує частоту галюцинацій у 3–5 разів. Тримайте контекст чистим.