Деградация контекста (Context Rot & Attention Decay)

1. Обзор концепции и системная проблема

С появлением моделей с гигантскими контекстными окнами (Claude 3.7 с 200K, Gemini 2.5 с 1M+ токенов) у разработчиков возникла опасная иллюзия: кажется, что теперь можно бесконечно вести один чат, сбрасывая туда мегабайты логов, полные текстов файлов и черновиков кода.

Однако на практике после 15–20 шагов автономной работы начинается быстрая деградация поведения агента:

1. Амнезия правил: Агент внезапно забывает запрет на использование any или начинает возвращать вымышленные названия функций, хотя в системном промпте было четкое ограничение.
2. Циклическое повторение ошибок (Negative Reasoning Transfer): Увидев в своей истории 5 неудачных попыток запустить команду, модель начинает считать ошибочную парадигму нормой и снова предлагает те же устаревшие варианты кода.
3. Экономическая катастрофа: Пользователь платит за полную длину контекста (например, 120 000 входных токенов) на каждой реплике ради того, чтобы исправить запятую в одном файле.

Context Rot (Деградация контекста) — это тихий убийца вайбкодинга и агентских воркфлоу, который превращает интеллектуального помощника в дезориентированного генератора спагетти-кода.

2. Архитектурная таксономия и ментальная модель

Деградация внимания внутри нейросети развивается по трем основным направлениям:

• 1. Энтропия весов внимания (Attention Dilution): В математической формуле трансформера $\text{Softmax}(QK^T / \sqrt{d})$ знаменатель суммирует экспоненты всех токенов в контексте. Когда количество второстепенных токенов увеличивается с 2 000 до 100 000, вес внимания, назначенный критически важным системным инструкциям, экспоненциально размывается.
• 2. Эффект «Загубленного внутри» (Lost-in-the-Middle): Внимание распределяется U-образной кривой. Информация, оказавшаяся в диапазоне от 20% до 80% глубины контекста, подвергается наибольшему проценту искажений и галлюцинаций.
• 3. Контекстное отравление ошибками (Feedback Pollution): Каждый неудачный вывод линтера, ошибка 404 или закомментированный кусок кода становится частью обучающего распределения для генерации следующего токена. Модель подсознательно начинает генерировать код в стиле своих неудачных попыток.

3. Технический пайплайн и внутренняя механика

Жизненный цикл деградации контекста и контрмеры:

1. Inception & High Fidelity (Фаза чистого старта, шаги 1–5): Контекст содержит только чистые системные правила и задачу. Точность выполнения наивысшая, модель строго придерживается структуры.
2. Accumulation & Intermediate Noise (Фаза накопления, шаги 6–15): В контексте появляются стек-трейсы, выводы git status, длинные JSON-ответы. Происходит начальное рассеивание внимания.
3. Attention Saturation & Drift (Фаза деградации, шаги 16+): Модель начинает терять нить рассуждений, меняет стиль нейминга, предлагает устаревшие библиотеки и повторяет предыдущие галлюцинации.
4. Compaction & Thread Reset (Инженерная защита):
   • Rolling Compaction: автоматическое сворачивание старых сообщений в 3-абзацный дайджест.
   • Clean Forking: создание новой сессии с переносом только итогового состояния (Final Diff).

4. Практические инженерные сценарии в продакшене

01. Дисциплина сессий в Claude Code и Cursor

Опытные разработчики никогда не держат один чат дольше одного логического шага. После того как модуль авторизации написан и протестирован, сессия закрывается. Новый чат для модуля биллинга открывается с чистого листа с добавлением ссылки на свежесозданные файлы.

02. Жесткая санация вывода терминала (Stdout Truncation)

Когда агент запускает команду сборки или тесты, рантайм перехватывает вывод. Если npm run build выдает 2000 строк логов, агент получает только последние 20 строк с текстом фактической ошибки, предотвращая мгновенное забивание контекста шумом.

03. Двухэтапные пайплайны в RAG

Перед добавлением найденных веб-страниц в промпт генератора они обязательно проходят через HTML-to-Markdown стриппер и фильтр релевантности. В контекст подается только полезный факт без навигационных панелей сайта и футеров.

5. Подводные камни, типовые ошибки и безопасность

• Пастка незворотных затрат (Sunk Cost Fallacy): Пользователь продолжает убеждать агента в том же длинном чате: «Нет, ты снова забыл импорт! Я же говорил тебе 10 сообщений назад!». Вместо этого проще нажать /clear или открыть новый тред.
• Зомби-сущности (Ghost Variables): Агент обращается к переменным или функциям, которые он создал на 3-м шаге, но которые вы удалили из кода на 8-м, потому что они все еще висят в истории переписки.
• Безконтрольный расход денег: Работа в «протухшем» контексте на 150K токенов сжигает за час месячный бюджет разработчика без какой-либо пользы для продукта.