Skip to main content

Mise en cache des prompts (Prompt Caching)

POUR AGENT IAChatGPTClaude

Technologie d'optimisation de l'inférence pour les grands modèles de langage (Anthropic Claude, OpenAI, Google Gemini). Elle stocke dans la mémoire des serveurs les vecteurs d'attention déjà calculés de la partie statique du prompt d'entrée (grands livres, bases de code ou instructions système), réduisant le coût des appels répétés de 50 à 90 %.

1. Vue d'ensemble du concept et de sa finalité

Imaginez que vous vous rendiez chaque jour chez un notaire avec le même épais contrat de 200 pages pour lui poser des questions précises :

  • Le lundi : « Que dit l'article 12 sur la force majeure ? »
  • Le mardi : « Qui est le signataire côté fournisseur ? ».

Si le notaire devait relire les 200 pages depuis le premier mot chaque matin et vous facturer l'intégralité de cette lecture quotidiennement, vous seriez ruiné en une semaine.

Jusqu'à la mi-2024, les modèles linguistiques fonctionnaient exactement ainsi : si vous chargiez un livre ou une base de code dans le contexte, le fournisseur vous facturait à nouveau ces 100 000 tokens à chaque nouvelle interaction !

La révolution fut le Prompt Caching (Mise en cache des prompts) :

  • Vous chargez le gros texte une seule fois.
  • Le serveur le conserve dans la mémoire chaude.
  • Pour toutes les requêtes suivantes, vous ne payez que 10 % du coût, et la réponse s'affiche 3 à 4 fois plus vite !

Modèle mental : une réduction massive de 90 % sur les questions répétées concernant de grands documents.

2. Comparaison des coûts : sans cache vs avec Prompt Caching

SCÉNARIO : Vous échangez avec la base de code d'un projet (50 000 tokens)
et posez 10 questions consécutives.

SANS MISE EN CACHE (API classique) :
10 requêtes * 50 000 tokens = 500 000 tokens en entrée
💸 Coût par conversation : $1,50 (Attente lente à chaque fois)

─────────────────────────────────────────────────────────────

AVEC LE PROMPT CACHING (Anthropic / OpenAI) :
Requête 1 : Écriture dans le cache (50 000 tokens au tarif plein) = $0,15
Requêtes 2..10 : Lecture depuis le cache chaud avec une réduction de 90 % !
              9 * 50 000 * 10 % du prix = $0,13
🎉 Coût total : SEULEMENT $0,28 au lieu de $1,50 !
⚡ La vitesse de réponse a triplé !

3. La règle d'or pour structurer votre prompt afin d'optimiser le cache

Pour que les serveurs identifient ce qui peut être mis en cache, appliquez le principe de la pyramide de stabilité :

  1. Le sommet (partie 100 % invariable) : Le rôle système global + la grande documentation de votre entreprise ou le livre. (Ce bloc est mis en cache définitivement).
  2. Le milieu (partie quasi-invariable) : L'historique de la conversation des derniers messages.
  3. La base (toujours nouvelle) : La dernière question courte de l'utilisateur.

4. Conclusion pratique

Si vous développez un analyseur de documents, un assistant de codage ou un bot de support basé sur une base corporative, activez impérativement le Prompt Caching. Cela réduira non seulement votre facture mensuelle de plusieurs ordres de grandeur, mais rendra également votre bot ultra-rapide pour vos clients.

/ Questions fréquentesSchema.org FAQPage

FAQ: Mise en cache des prompts (Prompt Caching)

Parce que le serveur n'a pas besoin de recalculer les multiplications matricielles pour votre document de 50 pages à chaque nouvelle question. Son cache KV est déjà stocké dans la mémoire ultra-rapide du GPU du centre de données. Le serveur ne prend que quelques microsecondes pour récupérer le résultat prêt à l'emploi, c'est pourquoi il facture ce service à un prix symbolique.
/ Liens internes

Termes associés

Tous les termes
VPS & DevOps

Économie des tokens et calcul du budget (Mathématiques de tarification des tokens)

Méthodologie pour calculer les coûts financiers liés à l'utilisation d'API d'intelligence artificielle commerciales. Explique la différence de coût entre les tokens d'entrée (Prompt/Input) et de sortie (Completion/Output), les coûts cachés liés au contexte ainsi que la formule d'évaluation de l'unité économique d'une startup.

Lire le terme
Modèles & Inférence

KV-кеш (Key-Value Cache)

Оптимізація пам'яті в моделях Transformer, яка зберігає вектори ключів і значень (Keys and Values) уже оброблених токенів у швидкій пам'яті GPU. Дозволяє генерувати кожне наступне слово миттєво, але стрімко росте в розмірі з кожним новим повідомленням у чаті.

Lire le terme
Prompts & RAG

Taille de la fenêtre contextuelle (Mémoire de la conversation en cours)

Volume maximal de texte (en jetons) qu'un modèle linguistique peut conserver simultanément en mémoire lors d'une conversation en cours. Détermine la longueur des documents pouvant être téléchargés en une seule fois sans perte de contenu.

Lire le terme