Efekt „Zagubieni w środku” (Lost in the Middle)
Znana asymetria kognitywna dużych modeli językowych, zidentyfikowana w badaniu Uniwersytetu Stanforda. Wykazuje ona, że dokładność ekstrakcji informacji jest najwyższa na początku i końcu kontekstu wejściowego, ale gwałtownie spada w środkowej części długiego dokumentu.
1. Przegląd koncepcji i przeznaczenia
Czy kiedykolwiek próbowaliście przeczytać gruby podręcznik w jedną noc przed egzaminem? Zazwyczaj pamiętacie świetnie pierwszy rozdział wprowadzający oraz ostatnie strony, które przerzucaliście tuż przed wyjściem z domu. Ale to, co znajdowało się na stronie 240, zlewa się w jednolitą szarą plamę.
Co dziwne, duże modele językowe zachowują się dokładnie tak samo!
W 2023 roku naukowcy ze Stanforda przeprowadzili eksperyment: wczytywali do modeli długie listy dokumentów i ukrywali potrzebną odpowiedź w różnych miejscach. Wynik wstrząsnął branżą: jeśli fakt znajdował się w środku długiego tekstu, prawdopodobieństwo odnalezienia go przez model spadało z 90% do 30%!
Ten fenomen zyskał nazwę Lost in the Middle (Zagubiony w środku).
Model mentalny: najważniejszy praktyczny sekret: miejsce lokalizacji informacji w prompcie ma kluczowe znaczenie.
2. U-kształtna krzywa uwagi modelu
DOKŁADNOŚĆ WYKRYWANIA FAKTÓW
100% ────┐ ┌──── 100%
80% │ ╲ ╱ │ 80%
60% │ ╲ ╱ │ 60%
40% │ ╲ ╱ │ 40%
20% │ ╲═════════════════════════════════╱ │ 20%
│ «MARTWA STREFA ŚRODKOWA» │
0% ────┴───────────────────────────────────────────┴──── 0%
POCZĄTEK TEKSTU ŚRODEK KONIEC TEKSTU
(Prompt systemowy) (Nie umieszczaj tu (Pytanie)
żadnych istotnych
3. Jak prawidłowo formatować długie zapytania
❌ Błędna struktura (Ryzyko awarii):
1. [Długi dokument liczący 50 stron]
2. [Gdzieś w środku, na stronie 25: „Główna zasada: odpowiadaj wyłącznie po ukraińsku”]
3. [Pytanie do tekstu]
Wynik: Model pominie regułę na stronie 25 i odpowie po angielsku.
✅ Nienaganna struktura inżynierska:
1. [Jasna instrukcja na początku: „Przeanalizuj załączony dokument. Odpowiadaj wyłącznie w języku polskim.”]
2. [Treść dokumentu umieszczona między znacznikami <document> ... </document>]
3. [Przypomnienie na samym końcu: „Pamiętaj: wypisz tylko 3 kluczowe tezy i pisz po polsku.”]
4. Praktyczny wniosek
Nigdy nie chowajcie kluczowych wymagań ani krytycznych faktów w głębi ogromnego bloku tekstu. Wyprowadzajcie wszystko, co najważniejsze, do pierwszych i ostatnich 5% waszej wiadomości.
FAQ: Efekt „Zagubieni w środku” (Lost in the Middle)
Powiązane pojęcia
Test „Igła w stogu siana” (Needle In A Haystack / NIAH)
Standardowy benchmark służący do testowania długości okna kontekstowego modeli językowych. W ogromnym zbiorze losowego tekstu tła (stóg siana) na różnych pozycjach ukrywane jest jedno krótkie, losowe zdanie (igła), co pozwala sprawdzić zdolność modelu do jego bezbłędnego odnalezienia.
Rozmiar okna kontekstowego (Pamięć bieżącej rozmowy)
Maksymalna objętość tekstu (w tokenach), którą model językowy jest w stanie jednoczesnie utrzymać w pamięci podczas bieżącej sesji. Określa, jaką długość dokumentów można załadować jednorazowo bez utraty treści.
Separatory i tagi XML (Strukturyzacja promptów)
Technika formatowania złożonych promptów przy użyciu tagów XML (<context>, <rules>) oraz potrójnych cudzysłowów (\\\"\\\"\\\"). Pomaga modelowi jednoznacznie rozróżnić, gdzie kończy się instrukcja, a gdzie zaczyna się tekst do przetworzenia.