Розмір контекстного вікна (Пам'ять поточної розмови)(Контекстне вікно в нейромережах: скільки тексту пам'ятає модель)
Максимальний обсяг тексту (у токенах), який мовна модель здатна одночасно утримувати в пам'яті під час поточної бесіди. Визначає, яку довжину документів можна завантажити за один раз без втрати змісту.
1. Огляд концепції та призначення
Уявіть, що ви читаєте книгу, але ваша пам'ять влаштована так, що ви пам'ятаєте лише останні 30 сторінок, які щойно прочитали. Щойно ви перегортаєте 31-шу сторінку, події з 1-ї сторінки безповоротно стираються з вашої голови.
Саме так влаштоване контекстне вікно (Context Window) мовної моделі. Це її оперативна робоча пам'ять.
Усе, що потрапляє в контекстне вікно:
- Системна інструкція («Ти досвідчений репетитор»).
- Уся попередня історія листування в цьому конкретному чаті.
- Текст усіх завантажених вами файлів.
- Ваше поточне нове запитання.
Якщо сума всіх цих елементів перевищує ліміт моделі, старі дані починають «відсікатися».
2. Еволюція розмірів вікна пам'яті
┌─────────────────────────────────────────────────────────────┐
│ ЕВОЛЮЦІЯ РОЗМІРУ КОНТЕКСТНОГО ВІКНА │
├─────────────────────────────────────────────────────────────┤
│ 📜 2022 рік (GPT-3.5): │
│ [4 000 токенів] ➔ ~10 сторінок тексту │
├─────────────────────────────────────────────────────────────┤
│ 📖 2023 рік (GPT-4 Turbo): │
│ [128 000 токенів] ➔ ~300 сторінок (ціла товста книга) │
├─────────────────────────────────────────────────────────────┤
│ 📚 2024–2026 роки (Claude 3.5 Sonnet): │
│ [200 000 токенів] ➔ ~500 сторінок або весь код проекту │
├─────────────────────────────────────────────────────────────┤
│ 🏛️ Google Gemini 1.5 Pro: │
│ [2 000 000 токенів] ➔ Бібліотека з 35 книг або 1 год відео│
└─────────────────────────────────────────────────────────────┘
3. Чому розмова в одному чаті з часом стає «дурнішою» (Context Rot)
Багато новачків роблять одну типову помилку: вони ведуть один і той самий нескінченний діалог протягом місяця, задаючи туди питання про погоду, рецепти, виправлення коду та плани на відпустку.
З часом такий чат накопичує десятки тисяч токенів старого непотрібного сміття. Модель починає:
- Відповідати повільніше.
- Плутатися у власних інструкціях.
- Витрачати значно більше грошей за кожне нове слово.
4. Золоте правило гігієни контексту
Одне завдання — один новий чат!
Щойно ви закінчили працювати над однією конкретною темою (наприклад, написали статтю чи полагодили помилку в скрипті) — відкрийте новий чистий чат. Це оновить оперативну пам'ять моделі, зекономить ваш бюджет і гарантує найвищу якість відповідей без залишків старого сміття.
FAQ: Розмір контекстного вікна (Пам'ять поточної розмови)
Пов'язані терміни
Контекстне вікно (Context Window)
Максимальний робочий обсяг токенів, який мовна модель здатна одночасно утримувати в механізмі Self-Attention та пам'яті KV-кешу під час обчислення одного інференс-запиту.
Токени простими словами (Скільки слів у токені)
Базова одиниця вимірювання тексту в мовних моделях. Пояснення того, як слова розбиваються на токени, чому це впливає на вартість запитів і чому українські слова споживають більше токенів, ніж англійські.
Context Window Overflow & Compaction
Інженерні патерни запобігання фатальним збоям при вичерпанні ліміту контексту: ковзні підсумки (Rolling Summaries), згортання станів та селективне витіснення застарілої історії.