Rozmiar okna kontekstowego (Pamięć bieżącej rozmowy)
Maksymalna objętość tekstu (w tokenach), którą model językowy jest w stanie jednoczesnie utrzymać w pamięci podczas bieżącej sesji. Określa, jaką długość dokumentów można załadować jednorazowo bez utraty treści.
1. Przegląd koncepcji i przeznaczenia
Wyobraź sobie, że czytasz książkę, ale Twoja pamięć działa w ten sposób, że zapamiętujesz jedynie ostatnie 30 stron, które właśnie przeczytałeś. W momencie przewrócenia 31. strony wydarzenia z pierwszej strony są bezpowrotnie wymazywane z Twojej głowy.
Dokładnie tak działa kontekstowe okno (Context Window) modelu językowego. To jego operacyjna pamięć robocza.
Wszystko, co trafia do kontekstowego okna:
- Instrukcja systemowa („Jesteś doświadczonym korepetytorem”).
- Cała dotychczasowa historia rozmowy w tym konkretnym czacie.
- Treść wszystkich przesłanych przez Ciebie plików.
- Twoje bieżące nowe pytanie.
Jeśli suma wszystkich tych elementów przekroczy limit modelu, starsze dane zaczynają być „odcinane”.
2. Ewolucja rozmiarów okna pamięci
┌─────────────────────────────────────────────────────────────┐
│ EWOLUCJA ROZMIARU OKNA KONTEKSTOWEGO │
├─────────────────────────────────────────────────────────────┤
│ 📜 2022 rok (GPT-3.5): │
│ [4 000 tokenów] ➔ ~10 stron tekstu │
├─────────────────────────────────────────────────────────────┤
│ 📖 2023 rok (GPT-4 Turbo): │
│ [128 000 tokenów] ➔ ~300 stron (cała gruba książka) │
├─────────────────────────────────────────────────────────────┤
│ 📚 Lata 2024–2026 (Claude 3.5 Sonnet): │
│ [200 000 tokenów] ➔ ~500 stron lub cały kod projektu │
├─────────────────────────────────────────────────────────────┤
│ 🏛️ Google Gemini 1.5 Pro: │
│ [2 000 000 tokenów] ➔ Biblioteka 35 książek lub 1 godz. wideo│
└─────────────────────────────────────────────────────────────┘
3. Dlaczego rozmowa w jednym czacie z czasem staje się „głupsza” (Context Rot)
Wielu początkujących popełnia typowy błąd: prowadzą jeden i ten sam nieskończony dialog przez cały miesiąc, zadając tam pytania o pogodę, przepisy kulinarne, poprawki kodu czy plany urlopowe.
Z czasem taki czat gromadzi dziesiątki tysięcy tokenów starych, niepotrzebnych danych. Model zaczyna:
- Odpowiadać wolniej.
- Gubić się we własnych instrukcjach.
- Zużywać znacznie więcej zasobów obliczeniowych na każde nowe słowo.
4. Złota zasada higieny kontekstu
Jedno zadanie — jeden nowy czat!
Gdy tylko skończysz pracę nad jedną konkretną tematem (np. napiszesz artykuł lub naprawisz błąd w skrypcie) — otwórz nowy, czysty czat. Odświeży to operacyjną pamięć modelu, zoptymalizuje zużycie zasobów i zagwarantuje najwyższą jakość odpowiedzi bez pozostałości po starych danych.
FAQ: Rozmiar okna kontekstowego (Pamięć bieżącej rozmowy)
Powiązane pojęcia
Okno kontekstowe (Context Window)
Maksymalna liczba tokenów, którą model językowy jest w stanie jednoczesnie utrzymywać w mechanizmie Self-Attention oraz pamięci KV-cache podczas przetwarzania pojedynczego zapytania inferencyjnego.
Tokeny w prostych słowach (Ile słów przypada na jeden token)
Podstawowa jednostka miary tekstu w modelach językowych. Wyjaśnienie, jak słowa są dzielone na tokeny, dlaczego wpływa to na koszt zapytań oraz dlaczego słowa ukraińskie zużywają więcej tokenów niż angielskie.
Przepełnienie okna kontekstowego i kompresja
Wzorce inżynierskie zapobiegające krytycznym awariom przy wyczerpaniu limitu kontekstu: przewijane podsumowania (Rolling Summaries), zwijanie stanów oraz selektywne usuwanie przestarzałej historii.