TTFT vs TPS (Métriques de latence d'inférence)

1. Vue d’ensemble du concept et problème systémique

Lors de l’évaluation des performances d’un modèle d’intelligence artificielle, les développeurs juniors se focalisent souvent sur une métrique globale de vitesse : « Il génère rapidement ». Or, en production réelle, la latence se décompose en deux phases matérielles radicalement distinctes :

1. Phase Pre-fill (Traitement du contexte) : Le modèle doit « lire » le prompt d’entrée contenant 50 000 tokens de code. Il s’agit d’une opération à forte intensité de calcul (Compute-Bound), qui détermine le TTFT (Time To First Token).
2. Phase Decode (Génération de la réponse) : Le modèle écrit séquentiellement, token par token, le nouveau code. Il s’agit d’une opération limitée par la bande passante mémoire (Memory-Bound), qui détermine le TPS (Tokens Per Second).

2. Taxonomie architecturale et modèle mental

[ L'UTILISATEUR ENVOIE UNE REQUÊTE ]
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 1. PHASE DE PRÉ-REMPLISSAGE (Traitement parallèle de l'intégralité du prompt d'entrée) │
 │    • Utilisation des FLOPs GPU à 100 %                                │
 │    • Délai jusqu'à l'apparition du premier symbole : ➔ [ TTFT = 420 ms ] │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 2. PHASE DE DÉCODAGE (Génération séquentielle, token par token)       │
 │    • Utilisation de la bande passante mémoire à 100 %                 │
 │    • Vitesse de streaming : ➔ [ TPS = 85 tokens/sec ]                 │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
                       [ RÉPONSE COMPLÈTE TERMINÉE ]

3. Scénarios d’ingénierie concrets en production

01. Optimisation de l’assistant interactif dans un IDE

Le développeur attend une suggestion de code en temps réel (Inline Completion). Si le TTFT dépasse 300 ms, le développeur a déjà repris sa frappe manuelle, rendant la suggestion inutile. Pour ce cas d’usage, on privilégie des modèles avec un TTFT minimal (Gemini Flash ou modèles locaux de 3B).

02. Sélection du fournisseur pour le refactoring d’une base de code

Pour une tâche consistant à écrire 500 lignes de code en arrière-plan, un modèle avec un TTFT de 5 secondes mais un TPS de 120 tokens/s terminera en 9 secondes, tandis qu’un modèle à démarrage instantané (TTFT = 0,2 s) mais avec un TPS lent de 25 tokens/s nécessitera 20 secondes.

4. Pièges courants, erreurs typiques et sécurité

• Le piège du TPS moyen trompeur : Les fournisseurs affichent souvent dans leurs publicités un TPS pic pour des réponses courtes. À mesure que le texte de sortie s’allonge (le cache KV grossissant), le TPS peut chuter de 30 à 40 %.
• Impact de la file d’attente (Queue Latency) : Si le serveur est saturé de requêtes, un TTFT élevé peut résulter non pas de la lenteur du modèle, mais du fait que la requête est restée 2 secondes dans la file d’attente du planificateur. Veillez toujours à dissocier le Queue Time du temps pur de GPU Prefill.

5. Conclusion stratégique pour l’ingénieur 2026

Le TTFT et le TPS sont les coordonnées architecturales du choix des modèles. Comprendre la distinction entre les phases Prefill et Decode permet de construire des systèmes qui paraissent instantanés à l’utilisateur humain via l’interface, tout en garantissant une vitesse de génération maximale pour les agents autonomes.