Skip to main content

Тест «Голка в копиці сіна» (Needle In A Haystack / NIAH)(Тест «Голка в копиці сіна»: як перевіряють справжню пам'ять і зір великих моделей)

Стандартний бенчмарк для тестування довжини контекстного вікна мовних моделей. У гігантський масив випадкового фонового тексту (копицю сіна) на різних позиціях ховають одне коротке випадкове речення (голку), перевіряючи здатність моделі знайти його без помилок.

1. Огляд концепції та призначення

Коли виробник смартфона заявляє: «Наша батарея тримає 3 дні», користувачі хочуть бачити реальний краш-тест під максимальним навантаженням.

Коли розробники мовних моделей почали хвалитися: «Наш контекст виріс до 128k, 200k, 1M токенів!», індустрії знадобився такий самий суворий краш-тест. Ним став тест Needle In A Haystack (NIAH — Голка в копиці сіна):

  • Береться величезний нудний текст на сотні тисяч слів (копиця сіна).
  • Всередину вставляється одне безглузде, але конкретне речення (голка).
  • Моделі ставиться просте запитання: «Яке ідеальне заняття в Сан-Франциско згідно з текстом?».

В інженерній практиці це перевірка: чи вміє модель дійсно читати весь документ, чи вона просто робить вигляд, що подужала 500 сторінок.

2. Як візуалізують результати тесту NIAH

ДОВЖИНА КОНТЕКСТУ ➔   16k     32k     64k     128k    256k
ГЛИБИНА ПОЗИЦІЇ ГОЛКИ
0% (Початок)        🟩      🟩      🟩      🟩      🟩
25%                 🟩      🟩      🟩      🟩      🟨
50% (Середина)      🟩      🟩      🟨      🟥      🟥 (Сліпа пляма!)
75%                 🟩      🟩      🟩      🟨      🟥
100% (Кінець)       🟩      🟩      🟩      🟩      🟩

Легенда:
🟩 Знайдено точно (100%)
🟨 Знайдено неточно (50%)
🟥 Голку проігноровано (0% - Провал тесту)

3. Чому звичайного тесту NIAH уже недостатньо

Перші версії тесту були простими: знайти одне унікальне речення не так складно. Сучасні бенчмарки перейшли до складніших випробувань:

  1. Multi-Needle (Багато голок): у документ ховають 5 різних фактів і просять модель поєднати їх докупи: «Скільки коштував квиток у реченні 1 плюс вік героя з речення 4?».
  2. Needles with Distractors (Фальшиві голки): ховають схожі факти-пастки, щоб перевірити, чи не переплутає їх модель.

4. Практичний висновок

Якщо ви обираєте модель для щоденного аналізу великих баз знань, фінансових звітів або цілих репозиторіїв коду — завжди шукайте графік Needle In A Haystack. Якщо він повністю зелений на потрібній вам довжині, ви можете спокійно завантажувати гігантські файли.

/ Часті запитанняSchema.org FAQPage

FAQ: Тест «Голка в копиці сіна» (Needle In A Haystack / NIAH)

Це випадкова, не пов'язана з текстом фраза, наприклад: «Найкраще займатися піцою в Сан-Франциско в кафе 'Tony' о 14:30 у вівторок». Її вставляють посеред тисяч сторінок нудних юридичних регламентів чи документації.
/ Внутрішня перелінковка

Пов'язані терміни

Всі терміни
Моделі & Інференс

Ефект «Загубленого в середині» (Lost in the Middle)

Відома когнітивна асиметрія великих мовних моделей, виявлена в дослідженні Стенфордського університету. Показує, що точність вилучення інформації найвища на початку та в самому кінці вхідного контексту, але різко падає в середині довгого документа.

Читати термін
Промптинг & RAG

Розмір контекстного вікна (Пам'ять поточної розмови)

Максимальний обсяг тексту (у токенах), який мовна модель здатна одночасно утримувати в пам'яті під час поточної бесіди. Визначає, яку довжину документів можна завантажити за один раз без втрати змісту.

Читати термін
Моделі & Інференс

Google Gemini Pro (Модель Google із бездонним контекстом)

Основна робоча модель від Google DeepMind із рекордним вікном контексту у 2+ мільйони токенів. Здатна за один запит аналізувати цілі книги, часові відеозаписи та масивні кодові бази.

Читати термін