TTFT vs TPS (Métricas de Latência de Inferência)

1. Visão geral da conceção e problema sistémico

Ao avaliar o desempenho de um modelo de IA, engenheiros juniores tendem a focar-se num único número agregado de velocidade: "Gera rapidamente". No entanto, em produção real, a latência divide-se em duas fases de hardware completamente distintas:

1. Fase Pre-fill (Processamento do contexto): O modelo precisa de "ler" o prompt de entrada com 50.000 tokens de código. Esta é uma operação intensiva em computação (Compute-Bound), que determina o TTFT (Time To First Token).
2. Fase Decode (Geração da resposta): O modelo escreve novo código sequencialmente, token a token. Esta é uma operação limitada pela largura de banda da memória (Memory-Bound), que determina o TPS (Tokens Per Second).

2. Taxonomia arquitetural e modelo mental

[ USUÁRIO ENVIA A SOLICITAÇÃO ]
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 1. FASE DE PREFILL (Processamento paralelo de todo o prompt de entrada) │
 │    • Utilização de 100% dos FLOPs da GPU                              │
 │    • Tempo até a aparição do primeiro símbolo: ➔ [ TTFT = 420 ms ]     │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 2. FASE DE DECODE (Geração sequencial, token por token)               │
 │    • Utilização de 100% da Largura de Banda de Memória                 │
 │    • Velocidade de streaming: ➔ [ TPS = 85 tokens/sec ]                │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
                       [ RESPOSTA COMPLETA FINALIZADA ]

3. Cenários práticos de engenharia em produção

01. Otimização de assistentes interativos na IDE

O desenvolvedor espera sugestões de código em tempo real (Inline Completion). Se o TTFT exceder 300 ms, o desenvolvedor já continuou a digitar sozinho, tornando a sugestão inútil. Para este caso de uso, selecionam-se modelos com TTFT mínimo (Gemini Flash ou modelos locais de 3B).

02. Escolha do provedor para refatoração de base de código

Para a tarefa de escrever 500 linhas de código em background, um modelo com TTFT = 5 segundos, mas TPS = 120 tokens/s, concluirá a tarefa em 9 segundos. Em contraste, um modelo com início instantâneo (TTFT = 0,2s), mas TPS lento de 25 tokens/s, exigirá 20 segundos.

4. Armadilhas, erros comuns e segurança

• TPS médio enganoso: Os provedores frequentemente citam o TPS pico para respostas curtas nas suas publicidades. À medida que o texto de saída se torna mais longo (o KV-cache cresce), o TPS pode cair 30–40%.
• Impacto da fila (Queue Latency): Se o servidor estiver sobrecarregado com requisições, um TTFT elevado pode não ser devido à lentidão do modelo, mas sim ao facto de a requisição ter permanecido 2 segundos na fila do scheduler. Separe sempre o Queue Time do GPU Prefill Time puro.

5. Conclusão estratégica para o engenheiro de 2026

TTFT e TPS são as coordenadas de engenharia para a arquitetura de seleção de modelos. Compreender a diferença entre as fases Prefill e Decode permite construir sistemas que parecem instantâneos para o humano na interface, enquanto garantem a máxima velocidade de geração para agentes autónomos.