OpenAI додала кешування промптів в API на 12 годин
OpenAI додала кешування промптів в API на 12 годин
OpenAI розширила кешування промптів у API: тепер кеш може зберігатися до 12 годин, а для авторизованих користувачів Codex і Work — безстроково.
OpenAI оновила можливості кешування промптів у своєму API. Тепер кеш може зберігатися до 12 годин, а для авторизованих користувачів Codex і Work він зберігається безстроково.
Це означає, що навіть через кілька годин можна повернутися до попередньої задачі й продовжити роботу з гарантованим потраплянням у кеш.
На практиці це зменшує повторну обробку контексту та потенційно допомагає уникнути марного витрачання лімітів.
Більше таких оновлень.
Чому це важливо
АналітикаДовше кешування зменшує витрати на повторну обробку контексту та робить тривалі ШІ-процеси стабільнішими, особливо для розробників, які працюють із великими промптами й багатогодинними задачами.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
OpenAI розширила кешування в Codex, Work та API
OpenAI зробила кешування постійним у Codex і Work, а в API додала 12-годинне збереження кешу за подвійною ціною порівняно з 30-хвилинним кешем.
MiniMax представила модель M3.1 Flash
MiniMax офіційно випустила модель M3.1 Flash, яка генерує понад 200 токенів за секунду, обходить низку китайських моделей у тестах для ШІ-агентів і коштує значно дешевше за M3.
Кешування промптів (Prompt Caching & KV Cache Reuse)
Технологія сучасних інференс-двигунів та хмарних API (Anthropic, OpenAI, DeepSeek, vLLM), що зберігає попередньо обчислені матриці уваги (KV Cache) статичного префіксу, зменшуючи вартість обробки на 80–90% та скорочуючи час до першого токена (TTFT) у 4–8 разів.
Кешування промптів (Prompt Caching)
Технологія оптимізації інференсу у великих мовних моделях (Anthropic Claude, OpenAI, Google Gemini). Зберігає вже прораховані вектори уваги статичної частини вхідного промпту (великих книг, кодових баз або системних інструкцій) у пам'яті серверів, знижуючи вартість повторних звернень на 50–90%.
Повний гайд по Higgsfield Cinema Studio 4.0: керування сценою, Soul 2.0 та API-автоматизація
Детальний практичний розбір масштабного оновлення Higgsfield: Cinema Studio 4.0, консистентні персонажі Soul 2.0, генерація через API та готовий UGC-пайплайн.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.