Caching de Prompts (Prompt Caching)
Tecnologia de otimização de inferência em grandes modelos de linguagem (Anthropic Claude, OpenAI, Google Gemini). Armazena na memória dos servidores os vetores de atenção já calculados da parte estática do prompt de entrada (grandes documentos, bases de código ou instruções de sistema), reduzindo o custo de chamadas repetidas em 50–90%.
1. Visão geral do conceito e propósito
Imagine que você vai diariamente a um cartório com o mesmo contrato extenso de 200 páginas e faz perguntas pontuais:
- Na segunda-feira: «O que está escrito sobre força maior na cláusula 12?»
- Na terça-feira: «Quem é o signatário pelo lado do fornecedor?».
Se o tabelião tivesse que reler todas as 200 páginas desde a primeira palavra toda manhã e cobrasse o valor integral por cada dia de leitura, você estaria falido em uma semana.
Até meados de 2024, os modelos de linguagem funcionavam exatamente assim: se você carregasse um livro ou a base de código de um projeto no contexto, o provedor obrigava você a pagar por todos esses 100.000 tokens repetidamente a cada nova interação!
A revolução veio com o Prompt Caching (Cacheamento de Prompts):
- Você carrega o texto grande apenas uma vez.
- O servidor o armazena na memória quente.
- Em todas as consultas subsequentes, você paga apenas 10% do custo, e a resposta aparece 3 a 4 vezes mais rápido!
Modelo mental: um desconto gigante de 90% em consultas repetidas a documentos grandes.
2. Comparação de custos: sem cache vs. com Prompt Caching
CENÁRIO: Você está interagindo com a base de código do projeto (50.000 tokens)
e faz 10 perguntas consecutivas.
SEM CACHE (API Clássica):
10 requisições * 50.000 tokens = 500.000 tokens de entrada
💸 Custo por conversa: $1,50 (Espera lenta a cada vez)
─────────────────────────────────────────────────────────────
COM PROMPT CACHING (Anthropic / OpenAI):
Requisição 1: Escrita no cache (50.000 tokens ao preço cheio) = $0,15
Requisições 2..10: Leitura do cache quente com desconto de 90%!
9 * 50.000 * 10% do preço = $0,13
🎉 Custo total: APENAS $0,28 em vez de $1,50!
⚡ A velocidade de resposta triplicou!
3. A regra de ouro para estruturar prompts para cache
Para que os servidores entendam que o texto pode ser armazenado em cache, utilize o princípio da pirâmide de estabilidade:
- Topo (Parte 100% imutável): Papel do sistema geral + documentação extensa da sua empresa ou livro. (Este bloco é fixado permanentemente no cache).
- Meio (Relativamente estável): Histórico da conversa das últimas mensagens.
- Base (Novo a cada requisição): A última pergunta curta do usuário.
4. Conclusão prática
Se você estiver desenvolvendo um analisador de documentos, um assistente de código ou um bot de suporte baseado na base corporativa — ative obrigatoriamente o Prompt Caching. Isso não apenas reduzirá sua fatura mensal várias vezes, mas também tornará o bot extremamente rápido para os clientes.
FAQ: Caching de Prompts (Prompt Caching)
Termos relacionados
Economia de Tokens e Cálculo de Orçamento (Token Pricing Math)
Metodologia para calcular os custos financeiros do uso de APIs comerciais de Inteligência Artificial. Explica a diferença de custo entre tokens de entrada (Prompt/Input) e de saída (Completion/Output), os custos ocultos do contexto e a fórmula para avaliar a economia unitária de uma startup.
KV Cache (Key-Value Cache)
Otimização de memória em modelos Transformer que armazena os vetores de chave e valor (Keys and Values) dos tokens já processados na memória rápida da GPU. Permite gerar cada próxima palavra instantaneamente, mas cresce rapidamente em tamanho a cada nova mensagem no chat.
Tamanho da Janela de Contexto (Memória da Conversa Atual)
Volume máximo de texto (em tokens) que um modelo de linguagem consegue manter simultaneamente na memória durante uma conversa atual. Define o comprimento dos documentos que podem ser carregados de uma só vez sem perda de conteúdo.