Skip to main content

Ефект «Загубленого в середині» (Lost in the Middle)(Lost in the Middle: чому моделі втрачають важливі факти всередині довгих текстів)

Відома когнітивна асиметрія великих мовних моделей, виявлена в дослідженні Стенфордського університету. Показує, що точність вилучення інформації найвища на початку та в самому кінці вхідного контексту, але різко падає в середині довгого документа.

1. Огляд концепції та призначення

Ви коли-небудь пробували прочитати товстий підручник за одну ніч перед екзаменом? Зазвичай ви чудово пам'ятаєте перший вступний розділ і останні сторінки, які гортали перед виходом із дому. Але те, що було на сторінці 240, зливається в суцільну сіру пляму.

Дивно, але великі мовні моделі поводяться точно так само!

У 2023 році вчені зі Стенфорду провели експеримент: вони завантажували в моделі довгі списки документів і ховали потрібну відповідь у різних місцях. Результат шокував індустрію: якщо факт знаходився в середині довгого тексту, шанси моделі знайти його падали з 90% до 30%!

Цей феномен отримав назву Lost in the Middle (Загублений у середині).

Ментальна модель: найважливіший практичний секрет: місце розташування інформації в промпті має вирішальне значення.

2. U-подібна крива уваги моделі

ТОЧНІСТЬ ЗНАХОДЖЕННЯ ФАКТУ
  100% ────┐                                           ┌──── 100%
   80%     │ ╲                                       ╱ │      80%
   60%     │  ╲                                     ╱  │      60%
   40%     │   ╲                                   ╱   │      40%
   20%     │    ╲═════════════════════════════════╱    │      20%
           │           «МЕРТВА ЗОНА СЕРЕДИНИ»          │
    0% ────┴───────────────────────────────────────────┴────   0%
        ПОЧАТОК ТЕКСТУ         СЕРЕДИНА             КІНЕЦЬ ТЕКСТУ
        (Системний промпт)   (Сюди нічого           (Запитання)
                              важливого не кладіть!)

3. Як правильно оформляти довгі запити

❌ Помилкова структура (Ризик збою):

1. [Довгий документ на 50 сторінок]
2. [Десь усередині на стор. 25: «Головне правило: відповідай тільки українською»]
3. [Запитання до тексту]

Результат: Модель пропустить правило на сторінці 25 і відповість англійською.

✅ Бездоганна інженерна структура:

1. [Чітка інструкція на початку: «Проаналізуй наведений документ. Відповідай строго українською.»]
2. [Масив документа у розділювачах <document> ... </document>]
3. [Нагадування в самому кінці: «Пам'ятай: витягни лише 3 ключові тези та пиши українською.»]

4. Практичний висновок

Ніколи не ховайте ключові вимоги чи критичні факти вглибині величезного полотна тексту. Виносьте все найважливіше в перші та останні 5% вашого повідомлення.

/ Часті запитанняSchema.org FAQPage

FAQ: Ефект «Загубленого в середині» (Lost in the Middle)

Це пов'язано з тим, як розподіляється увага (Attention): на початку тексту зазвичай стоїть системний промпт та головне завдання (висока важливість), а в кінці тексту стоїть фінальне запитання користувача (найсвіжіші токени). Середина ж довгого тексту отримує найменшу частку ваги уваги.
/ Внутрішня перелінковка

Пов'язані терміни

Всі терміни
Моделі & Інференс

Тест «Голка в копиці сіна» (Needle In A Haystack / NIAH)

Стандартний бенчмарк для тестування довжини контекстного вікна мовних моделей. У гігантський масив випадкового фонового тексту (копицю сіна) на різних позиціях ховають одне коротке випадкове речення (голку), перевіряючи здатність моделі знайти його без помилок.

Читати термін
Промптинг & RAG

Розмір контекстного вікна (Пам'ять поточної розмови)

Максимальний обсяг тексту (у токенах), який мовна модель здатна одночасно утримувати в пам'яті під час поточної бесіди. Визначає, яку довжину документів можна завантажити за один раз без втрати змісту.

Читати термін
Промптинг & RAG

Розділювачі та XML-теги (Структурування промптів)

Техніка оформлення складних промптів за допомогою XML-тегів (<context>, <rules>) та потрійних лапок (\"\"\"). Допомагає моделі чітко розрізняти, де закінчується ваше правило і де починається текст для обробки.

Читати термін