PagedAttention & KV-Cache Management

1. Обзор концепции и системная проблема

Когда сервер обслуживает запросы к языковой модели, наибольшим врагом масштабирования является память:

• Видеокарта NVIDIA A100 имеет 80 ГБ VRAM. Сама модель 70B в 4-битном квантувании занимает ~38 ГБ.
• Остается 42 ГБ для пользовательских запросов.
• Если резервировать память традиционным способом, сервер может обслуживать одновременно лишь 2–3 запроса с длинным контекстом. Попытка подключить четвертого клиента заканчивается ошибкой CUDA Out of Memory.

PagedAttention решила эту проблему, перенесши 50-летний фундаментальный принцип операционных систем — виртуальную страничную память (Paging) — в видеопамять графических процессоров.

2. Архитектурная таксономия и ментальная модель

┌─────────────────────────────────────────────────────────────┐
│                 PAGEDATTENTION ARCHITECTURE                 │
├─────────────────────────────────────────────────────────────┤
│ 1. Logical KV Blocks (Логический контекст пользователя):     │
│    [Токены 0-15] ➔ [Токены 16-31] ➔ [Токены 32-47]         │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ Block Table (Таблица страниц)    │
│    • Логический блок 0 ➔ Физический блок 7 в VRAM            │
│    • Логический блок 1 ➔ Физический блок 2 в VRAM            │
│    • Логический блок 2 ➔ Физический блок 11 в VRAM           │
├─────────────────────────────────────────────────────────────┤
│ 2. Physical VRAM Pages (Непрерывные свободные слоты):        │
│    ┌─────────┬─────────┬─────────┬─────────┬─────────┐      │
│    │ Блок 0  │ Блок 1  │ Блок 2  │ ...     │ Блок 11 │      │
│    │ (Req B) │ (Свободный│ (Req A) │         │ (Req A) │      │
│    └─────────┴─────────┴─────────┴─────────┴─────────┘      │
│    • Фрагментация памяти снижена с 70% до <4%                │
└─────────────────────────────────────────────────────────────┘

3. Технический пайплайн и внутренняя механика

01. Совместное использование префиксов (Prefix Caching / Copy-on-Write)

Если 50 пользователей одновременно задают вопросы к одному и тому же системному промпту или PDF-документу, PagedAttention не копирует его 50 раз. Все запросы ссылаются на одни и те же физические страницы KV-кэша в VRAM. Память копируется только тогда, когда пользователь начинает генерировать собственный уникальный ответ (Copy-on-Write).

02. Параллельное разветвление агентских мыслей (Branching Search)

Когда агент исследует 4 варианта решения задачи (Beam Search или Tree-of-Thought), начальный общий контекст сохраняется в единственном экземпляре страниц памяти, что экономит до 75% VRAM при ройковых вычислениях.

4. Подводные камни, типовые ошибки и безопасность

• Overhead таблиц страниц при коротких текстах: Для ультракоротких диалогов (1–5 токенов) оверхед на управление таблицей блоков может незначительно увеличивать время диспетчеризации.
• Очистка страниц при отмене запроса: Если пользователь прервал соединение, движок должен немедленно вернуть выделенные физические страницы в пул свободных блоков, иначе возникает утечка памяти (VRAM Memory Leak).

5. Стратегический вывод для инженера 2026 года

PagedAttention осуществил такую же тихую революцию в LLM-инфраструктуре, какую когда-то сделала виртуальная память в Unix. Благодаря ему обслуживание сотен агентов на одном GPU стало экономически жизнеспособным стандартом индустрии.