Архитектура и экономика кеширования промптов

1. Обзор концепции и системная проблема

В эпоху автономных агентов взаимодействие с моделью является многократным:

• Шаг 1: Отправить 80k токенов кода + вопрос.
• Шаг 2: Получить ответ + вызвать инструмент + отправить результат инструмента (снова 80k токенов кода + новый контекст).
• К 10-му шагу разработчик платит за повторное чтение одних и тех же 80k токенов 10 раз подряд!
• Без кеширования сессия стоит $2.50. С кешированием — $0.28.

Prompt Caching Economics — это новая инженерная дисциплина: проектирование структуры диалога так, чтобы статические данные никогда не пересчитывались повторно на GPU.

2. Архитектурная таксономия и ментальная модель

┌─────────────────────────────────────────────────────────────┐
│                 PROMPT CACHING PREFIX RULES                 │
├─────────────────────────────────────────────────────────────┤
│ 1. STATIC CACHEABLE PREFIX (Должен быть 100% идентичным):   │
│    ┌─────────────────────────────────────────────────────┐  │
│    │ • Base System Prompts & Strict Agent Rules          │  │
│    │ • Project Schemas & TypeScript Definitions          │  │
│    │ • Immutable Core Documentation & Tool Specs         │  │
│    └─────────────────────────────────────────────────────┘  │
│    ➔ HIT: 90% DISCOUNT & 4x FASTER PREFILL SPEED            │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ The Dynamic Append Boundary      │
├─────────────────────────────────────────────────────────────┤
│ 2. VOLATILE DYNAMIC SUFFIX (Добавляется исключительно в конец): │
│    • Текущий пользовательский запрос и повороты разговора   │
│    • Динамические выводы инструментов и журналы ошибок     │
│    • Временные метки и эфемерные ID                        │
└─────────────────────────────────────────────────────────────┘

3. Практические инженерные сценарии в продакшене

01. Правильное размещение динамических метаданных

Антипаттерн (Смерть кеша):

[System Prompt] Сегодня: 2026-09-09 13:42:15. Твоя задача — кодить...

(Каждую секунду время меняется, кеш обнуляется 100% раз.)

Правильный паттерн (Вечный кеш): Время и переменные передаются в последнем сообщении пользователя:

[Static System Prompt - 40k tokens] (CACHED)
[User Message] [Timestamp: 13:42:15] Добавь новую кнопку в хедер.

02. Использование точек остановки кеша (Cache Breakpoints в Anthropic)

Указание заголовка cache_control: {"type": "ephemeral"} на массивном блоке документации:

const messages = [
  {
    role: "system",
    content: [
      {
        type: "text",
        text: massiveCodebaseSnapshot,
        cache_control: { type: "ephemeral" }
      }
    ]
  },
  { role: "user", content: "Исправь ошибку в маршрутизаторе" }
];

4. Подводные камни, типовые ошибки и безопасность

• Слишком короткий префикс: Большинство провайдеров требуют минимальный размер текста для кеширования (например, как минимум 1024 токена в Anthropic или 2048 в DeepSeek). Кешировать короткий промпт на 100 токенов бесполезно.
• Холодный первый запрос (Cold Start Cost): Первый запрос с новым префиксом стоит на 25% дороже обычного входного токена (Cache Write surcharge). Экономия начинается со второго и последующих запросов.

5. Стратегический вывод для инженера 2026 года

Кеширование промптов изменило финансовую модель искусственного интеллекта. Грамотно организованная структура префиксов делает возможным непрерывное удержание огромных кодовых контекстов по цене, доступной даже некоммерческим open-source проектам.