Skip to main content

Test „Igła w stogu siana” (Needle In A Haystack / NIAH)

DLA AGENTÓW AIChatGPTClaude

Standardowy benchmark służący do testowania długości okna kontekstowego modeli językowych. W ogromnym zbiorze losowego tekstu tła (stóg siana) na różnych pozycjach ukrywane jest jedno krótkie, losowe zdanie (igła), co pozwala sprawdzić zdolność modelu do jego bezbłędnego odnalezienia.

1. Przegląd koncepcji i przeznaczenia

Gdy producent smartfona deklaruje: „Nasz akumulator wytrzymuje 3 dni”, użytkownicy chcą zobaczyć realny test obciążeniowy przy maksymalnym zużyciu energii.

Gdy twórcy modeli językowych zaczęli chwalić się: „Nasz kontekst urósł do 128k, 200k, a nawet 1M tokenów!”, branża potrzebowała równie rygorystycznego testu obciążeniowego. Takim stał się test Needle In A Haystack (NIAH – Igła w stogu siana):

  • Pobierany jest ogromny, nudny tekst liczący setki tysięcy słów (stóg siana).
  • W jego wnętrzu umieszczane jest jedno absurdalne, ale konkretne zdanie (igła).
  • Modelowi zadawane jest proste pytanie: „Jaki jest idealny zawód w San Francisco zgodnie z tekstem?”.

W praktyce inżynierskiej stanowi to weryfikację: czy model rzeczywiście potrafi przeczytać cały dokument, czy tylko udaje, że przetrawił 500 stron.

2. Jak wizualizowane są wyniki testu NIAH

DŁUGOŚĆ KONTEKSTU ➔   16k     32k     64k     128k    256k
GŁĘBOKOŚĆ POZYCJI IGŁY
0% (Początek)        🟩      🟩      🟩      🟩      🟩
25%                  🟩      🟩      🟩      🟩      🟨
50% (Środek)         🟩      🟩      🟨      🟥      🟥 (Martwy punkt!)
75%                  🟩      🟩      🟩      🟨      🟥
100% (Koniec)        🟩      🟩      🟩      🟩      🟩

Legenda:
🟩 Znaleziono dokładnie (100%)
🟨 Znaleziono niedokładnie (50%)
🟥 Igła zignorowana (0% - Niepowodzenie testu)

3. Dlaczego zwykły test NIAH już nie wystarcza

Pierwsze wersje testu były proste: znalezienie jednego unikalnego zdania nie stanowiło dużego wyzwania. Współczesne benchmarki przeszły do bardziej złożonych prób:

  1. Multi-Needle (Wiele igieł): w dokumencie ukrywa się 5 różnych faktów i prosi model o ich połączenie: „Ile kosztował bilet w zdaniu 1 plus wiek bohatera ze zdania 4?”.
  2. Needles with Distractors (Fałszywe igły): ukrywa się podobne fakty-pułapki, aby sprawdzić, czy model ich nie pomyli.

4. Praktyczna konkluzja

Jeśli wybierasz model do codziennej analizy dużych baz wiedzy, raportów finansowych lub całych repozytoriów kodu — zawsze szukaj wykresu Needle In A Haystack. Jeśli jest on całkowicie zielony na wymaganej przez Ciebie długości, możesz spokojnie przesyłać gigantyczne pliki.

/ Najczęściej zadawane pytaniaSchema.org FAQPage

FAQ: Test „Igła w stogu siana” (Needle In A Haystack / NIAH)

Jest to losowa fraza, niezwiązana z treścią tekstu, np.: „Najlepszą pizzę można zjeść w San Francisco w kawiarni 'Tony' we wtorek o 14:30”. Zostaje ona wstawiona pośród tysięcy stron nudnych regulacji prawnych lub dokumentacji.
/ Linki wewnętrzne

Powiązane pojęcia

Wszystkie hasła
Modele i inferencja

Efekt „Zagubieni w środku” (Lost in the Middle)

Znana asymetria kognitywna dużych modeli językowych, zidentyfikowana w badaniu Uniwersytetu Stanforda. Wykazuje ona, że dokładność ekstrakcji informacji jest najwyższa na początku i końcu kontekstu wejściowego, ale gwałtownie spada w środkowej części długiego dokumentu.

Czytaj hasło
Prompty i RAG

Rozmiar okna kontekstowego (Pamięć bieżącej rozmowy)

Maksymalna objętość tekstu (w tokenach), którą model językowy jest w stanie jednoczesnie utrzymać w pamięci podczas bieżącej sesji. Określa, jaką długość dokumentów można załadować jednorazowo bez utraty treści.

Czytaj hasło
Modele i inferencja

Google Gemini Pro (Model Google z ogromnym kontekstem)

Główny model roboczy od Google DeepMind z rekordowym oknem kontekstowym wynoszącym ponad 2 miliony tokenów. Zdolny do analizowania całych książek, nagrań wideo oraz dużych baz kodu w ramach jednego zapytania.

Czytaj hasło