OpenAI étend la mise en cache des prompts dans son API à 12 heures
OpenAI étend la mise en cache des prompts dans son API à 12 heures
OpenAI a étendu la mise en cache des prompts dans son API: le cache peut désormais durer jusqu'à 12 heures, et indéfiniment pour les utilisateurs autorisés de Codex et Work.
OpenAI a amélioré les capacités de mise en cache des prompts dans son API. Les caches de prompts peuvent désormais être conservés jusqu'à 12 heures, tandis que les utilisateurs autorisés de Codex et Work peuvent les conserver indéfiniment.
Cela signifie qu'il est possible, même après plusieurs heures, de revenir à une tâche précédente et de continuer à travailler avec une correspondance garantie dans le cache.
En pratique, cela réduit le retraitement du contexte et peut aider à éviter de gaspiller des quotas d'utilisation.
Plus de mises à jour comme celle-ci seraient les bienvenues.
Pourquoi c'est important
AnalyseUn cache de prompts plus long réduit les coûts de retraitement du contexte et rend les flux de travail IA de longue durée plus prévisibles, surtout pour les développeurs qui utilisent de grands prompts et des sessions de plusieurs heures.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
OpenAI améliore le cache dans Codex, Work et l'API
OpenAI rend le cache persistant dans Codex et Work et ajoute une option de conservation du cache pendant 12 heures dans l'API, au double du prix du cache de 30 minutes.
MiniMax lance le modèle M3.1 Flash
MiniMax a officiellement publié M3.1 Flash, un modèle qui génère plus de 200 jetons par seconde, dépasse plusieurs modèles chinois dans les benchmarks pour agents IA et coûte nettement moins que M3.
Mise en cache des prompts (Prompt Caching & Reuse of KV Cache)
Technologie des moteurs d'inférence modernes et des API cloud (Anthropic, OpenAI, DeepSeek, vLLM) qui conserve les matrices d'attention précalculées (KV Cache) du préfixe statique, réduisant le coût de traitement de 80 à 90 % et le temps jusqu'au premier token (TTFT) d'un facteur de 4 à 8.
Mise en cache des prompts (Prompt Caching)
Technologie d'optimisation de l'inférence pour les grands modèles de langage (Anthropic Claude, OpenAI, Google Gemini). Elle stocke dans la mémoire des serveurs les vecteurs d'attention déjà calculés de la partie statique du prompt d'entrée (grands livres, bases de code ou instructions système), réduisant le coût des appels répétés de 50 à 90 %.
Guide complet de Higgsfield Cinema Studio 4.0 : gestion des scènes, Soul 2.0 et automatisation via API
Analyse pratique détaillée de la mise à jour majeure de Higgsfield : Cinema Studio 4.0, personnages cohérents avec Soul 2.0, génération via API et pipeline UGC prêt à l'emploi.
Partie I. Architecture des agents IA : les blocs fondamentaux
Dix blocs fondamentaux d'un agent moderne : taxonomie des modèles, boucle d'exécution (runtime), techniques de prompting, distillation, compétences (skills), mémoire, appels de fonctions et économie unitaire.