Tokens Explained Simply (How Many Words in a Token)

1. Visão geral do conceito e propósito

Quando uma pessoa olha para um texto, ela vê letras, sílabas e palavras individuais. Os computadores, no entanto, não pensam em palavras — eles operam exclusivamente com números.

Token é a unidade fundamental de texto para a inteligência artificial. Não precisa ser necessariamente uma palavra inteira: um token pode ser um caractere isolado, parte de uma palavra, raiz, sufixo ou até mesmo pontuação ou espaço.

Para iniciantes, compreender os tokens é crucial por duas razões práticas:

1. Custos: nas APIs comerciais, você paga estritamente pela quantidade de tokens de entrada e saída.
2. Memória: o limite de memória do modelo (janela de contexto) não é medido em gigabytes ou páginas, mas sim na quantidade de tokens.

2. Como o texto é segmentado em tokens (Exemplo)

Observe como a inteligência artificial percebe uma frase:

┌─────────────────────────────────────────────────────────────┐
│                 TOKENIZAÇÃO DE FRASE NA PRÁTICA              │
├─────────────────────────────────────────────────────────────┤
│ Texto de entrada:                                           │
│ «A Inteligência Artificial está mudando o mundo!»           │
├─────────────────────────────────────────────────────────────┤
│ Divisão em tokens (Tokenizador BPE):                        │
│ [Inteli][gência] [Arti][ficial] [está] [mu][dan][do] [o]    │
│ [mun][do][!]                                                 │
│                                                             │
│ • Juntos: 6 palavras, mas 12 tokens separados               │
│ • Cada token recebe seu número único:                       │
│   [48291, 1029, 8472, 9182, 3311, 401, 8820, 0, ...]        │
└─────────────────────────────────────────────────────────────┘

3. Por que isso impacta seu orçamento

Nas tabelas de preços dos provedores (OpenAI, Anthropic, Google), as tarifas são sempre apresentadas no formato:

• $2.50 / 1M input tokens (por 1 milhão de tokens de entrada).
• $10.00 / 1M output tokens (por 1 milhão de tokens gerados pelo modelo).

Atenção: os tokens de saída são sempre 3–4 vezes mais caros que os de entrada! Isso ocorre porque processar texto existente computacionalmente exige menos recursos do que gerar novo conteúdo token por token.

4. Dicas práticas para economizar tokens

• Elimine "gordura" dos prompts: Em vez de preâmbulos educados como "Olá, estimado chatbot, poderia gentilmente...", vá direto ao ponto: "Elabore um plano...". Isso economiza centenas de tokens diariamente.
• Solicite saídas concisas: Se você precisa apenas de números, escreva: "Retorne somente o valor final sem explicações". Quanto menos palavras o bot gerar na saída, menor será seu custo.
• Formate listas: Listas com marcadores (bullet points) consomem menos tokens do que longos parágrafos descritivos repletos de palavras de transição repetitivas.