Деградація контексту (Context Rot & Attention Decay)(Деградація уваги та ентропія довгого контексту)

1. Огляд концепції та системна проблема

Із появою моделей із гігантськими контекстними вікнами (Claude 3.7 з 200K, Gemini 2.5 з 1M+ токенів) у розробників виникла небезпечна ілюзія: здається, що тепер можна нескінченно вести один чат, скидаючи туди мегабайти логів, повні тексти файлів і чернетки коду.

Проте на практиці після 15–20 кроків автономної роботи починається швидка деградація поведінки агента:

1. Амнезія правил: Агент раптово забуває заборону на використання any або починає повертати вигадані назви функцій, хоча в системному промпті було чітке обмеження.
2. Циклічне повторення помилок (Negative Reasoning Transfer): Побачивши у власній історії 5 невдалих спроб запустити команду, модель починає вважати хибну парадигму нормою і знову пропонує ті самі застарілі варіанти коду.
3. Економічна катастрофа: Користувач платить за повну довжину контексту (наприклад, 120 000 вхідних токенів) на кожній репліці заради того, щоб виправити кому в одному файлі.

Context Rot (Деградація контексту) — це тихий убивця вайбкодингу та агентських воркфлоу, що перетворює інтелектуального помічника на дезорієнтованого генератора спагеті-коду.

2. Архітектурна таксономія та ментальна модель

Деградація уваги всередині нейромережі розвивається за трьома основними напрямками:

• 1. Ентропія ваг уваги (Attention Dilution): У математичній формулі трансформера $\text{Softmax}(QK^T / \sqrt{d})$ знаменник сумує експоненти всіх токенів у контексті. Коли кількість другорядних токенів зростає з 2 000 до 100 000, вага уваги, призначена критично важливим системним інструкціям, експоненційно розмивається.
• 2. Ефект «Загубленого всередині» (Lost-in-the-Middle): Увага розподіляється U-подібною кривою. Інформація, що опинилася в діапазоні від 20% до 80% глибини контексту, зазнає найбільшого відсотка спотворень і галюцинацій.
• 3. Контекстне отруєння помилками (Feedback Pollution): Кожен невдалий вивід лінтера, помилка 404 або закоментований шматок коду стає частиною навчального розподілу для генерації наступного токена. Модель підсвідомо починає генерувати код у стилі своїх невдалих спроб.

3. Технічний пайплайн та внутрішня механіка

Життєвий цикл деградації контексту та контрзаходи:

1. Inception & High Fidelity (Фаза чистого старту, кроки 1–5): Контекст містить лише чисті системні правила та задачу. Точність виконання найвища, модель суворо дотримується структури.
2. Accumulation & Intermediate Noise (Фаза накопичення, кроки 6–15): У контексті з'являються стектрейси, виводи git status, довгі JSON-відповіді. Відбувається початкове розсіювання уваги.
3. Attention Saturation & Drift (Фаза деградації, кроки 16+): Модель починає втрачати нитку міркувань, змінює стиль неймінгу, пропонує застарілі бібліотеки та повторює попередні галюцинації.
4. Compaction & Thread Reset (Інженерний захист):
   • Rolling Compaction: автоматичне згортання старих повідомлень у 3-абзацний дайджест.
   • Clean Forking: створення нової сесії з переносом лише підсумкового стану (Final Diff).

4. Практичні інженерні сценарії в продакшені

01. Дисципліна сесій у Claude Code та Cursor

Досвідчені розробники ніколи не тримають один чат довше одного логічного кроку. Після того як модуль авторизації написано і протестовано, сесія закривається. Новий чат для модуля білінгу відкривається з чистого аркуша із додаванням посилання на свіжостворені файли.

02. Жорстка санітизація виводу термінала (Stdout Truncation)

Коли агент запускає команду збірки чи тести, рантайм перехоплює вивід. Якщо npm run build видає 2000 рядків логів, агент отримує лише останні 20 рядків із текстом фактичної помилки, запобігаючи миттєвому забиванню контексту шумом.

03. Двоетапні пайплайни в RAG

Перед додаванням знайдених веб-сторінок у промпт генератора вони обов'язково проходять через HTML-to-Markdown стрипер і фільтр релевантності. У контекст подається тільки корисний фактаж без навігаційних панелей сайту та футерів.

5. Підводні камені, типові помилки та безпека

• Пастка незворотних витрат (Sunk Cost Fallacy): Користувач продовжує переконувати агента в тому самому довгому чаті: «Ні, ти знову забув імпорт! Я ж казав тобі 10 повідомлень тому!». Замість цього простіше натиснути /clear або відкрити новий тред.
• Зомбі-сутності (Ghost Variables): Агент звертається до змінних чи функцій, які він створив на 3-му кроці, але які ви видалили з коду на 8-му, тому що вони все ще висять в історії переписки.
• Безконтрольний розхід грошей: Робота в «протухлому» контексті на 150K токенів спалює за годину місячний бюджет розробника без жодної користі для продукту.