Décodage spéculatif et modèles de brouillon

1. Aperçu du concept et problème systémique

La génération de texte par les grands modèles (LLM) souffre d'un goulot d'étranglement matériel fondamental — la limitation de la bande passante mémoire (Memory-Bandwidth Bound) :

• Les GPU disposent d'une puissance de calcul colossale (TFLOPs), mais lors de la génération séquentielle, un token à la fois, les unités de calcul restent inactives 95 % du temps, attendant que les poids du modèle soient chargés depuis la VRAM.
• Cette contrainte plafonne la vitesse des grands modèles à 25–40 tokens par seconde, ce qui est trop lent pour les longs cycles agentic.

Speculative Decoding (Décodage spéculatif) résout élégamment ce problème grâce à une synergie entre deux modèles : un petit modèle de brouillon (Draft Model, par exemple 1B–3B) et le grand modèle cible (Target Model, par exemple 70B).

2. Taxonomie architecturale et modèle mental

┌─────────────────────────────────────────────────────────────┐
│               PIPELINE DE DÉCODAGE SPÉCULATIF               │
├─────────────────────────────────────────────────────────────┤
│ 1. GÉNÉRATION DU BROUILLON (Le petit modèle de 1B fonctionne │
│    depuis le cache GPU) :                                   │
│    • Génère rapidement une hypothèse de K=5 tokens :         │
│      ["const", " ", "user", " =", " "]                      │
│    • Ne prend que 5 millisecondes                           │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ UNE SEULE PASSES DU GRAND MODÈLE │
├─────────────────────────────────────────────────────────────┤
│ 2. VÉRIFICATION CIBLE (Le grand modèle de 70B en un cycle) :│
│    • Vérifie les 5 tokens en parallèle via un seul appel VRAM│
│    • Résultat de la vérification :                          │
│      [Token 1 : OK] [Token 2 : OK] [Token 3 : OK] [Token 4 : OK] │
│      [Token 5 : REJET -> Remplacer par " {"]                │
├─────────────────────────────────────────────────────────────┤
│ 3. ACCÉLÉRATION DE LA SORTIE :                              │
│    • En 1 cycle VRAM, 4,5 tokens valides ont été générés    │
│    • Accélération réelle : 2,5x – 3,2x TPS                  │
└─────────────────────────────────────────────────────────────┘

3. Scénarios d'ingénierie pratiques en production

01. Accélération des boucles de code agentiques dans vLLM

Lancement d'un serveur vLLM avec le paramètre de décodage spéculatif :

vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --speculative-model meta-llama/Llama-3.2-1B-Instruct \
  --num-speculative-tokens 5 \
  --gpu-memory-utilization 0.95

La vitesse de génération de code passe de 35 à 95 tokens par seconde sans aucune modification du code client.

02. Medusa & Eagle (Spéculation sans modèle de brouillon séparé)

Les architectures les plus récentes (Medusa Heads) utilisent, au lieu d'un modèle séparé, plusieurs têtes de décodage supplémentaires (Decoding Heads) directement sur le modèle cible, économisant ainsi la mémoire GPU.

4. Pièges courants, erreurs typiques et sécurité

• Dégradation du taux d'acceptation (Acceptance Rate Degradation) : Si le modèle de brouillon diffère significativement en style ou en données d'entraînement du modèle cible, le grand modèle rejettera 80 % des tokens proposés. L'accélération disparaîtra et le temps d'inférence augmentera même. Le modèle de brouillon doit appartenir à la même famille (par exemple, Llama 1B pour Llama 70B).
• Coût en VRAM du second modèle : Le modèle de brouillon occupe 2 à 4 Go de mémoire vidéo supplémentaire, ce qui peut être critique sur les cartes graphiques limitées à 24 Go.

5. Conclusion stratégique pour l'ingénieur de 2026

Le décodage spéculatif est devenu un standard incontournable de l'inférence industrielle. Grâce à lui, les agents autonomes gagnent en réactivité et en rapidité, réduisant de manière critique le temps d'attente utilisateur lors de l'exécution de tâches complexes.