Prédiction du token suivant (Next-Token Prediction)

1. Vue d’ensemble du concept et essence mathématique

Lorsque vous observez une intelligence artificielle concevoir une architecture microservices ou composer un poème, il est tentant de croire qu’une conscience dotée d’un monologue intérieur a émergé au sein de l’ordinateur.

Pourtant, au niveau des calculs sous le capot de n’importe quel LLM autoregressif (GPT-4o, Claude 3.7, Llama 3.3, DeepSeek R1), un seul cycle itératif s’exécute :

$$P(W) = \prod_{t=1}^{T} P(w_t \mid w_1, w_2, \dots, w_{t-1})$$

1. Lire la séquence d’entrée de tokens $w_1, \dots, w_{t-1}$.
2. Faire passer les vecteurs à travers les couches Transformer (Self-Attention + MLP).
3. Calculer un score numérique (Logit) pour chacun des 128 000 tokens du vocabulaire.
4. Appliquer Softmax et des algorithmes de sélection (Temperature, Top-P), en choisissant un unique token $w_t$.
5. Ajouter $w_t$ au contexte et répéter l’étape.

Modèle mental : ce n’est pas un oracle qui connaît la pensée finale à l’avance, mais un générateur statistique de trajectoire qui fait un pas et ne voit où poser le pied suivant qu’après coup.

┌─────────────────────────────────────────────────────────────┐
│              CONVEYEUR MATHÉMATIQUE À PAS UNIQUE            │
├─────────────────────────────────────────────────────────────┤
│ 1. Contexte d'entrée : « Kyiv est la capitale »             │
│    Vectorisation des tokens ➔ Passage à travers les         │
│    couches du transformateur                                │
├─────────────────────────────────────────────────────────────┤
│ 2. Couche de sortie (Unembedding) : 128 000 logits          │
│    • Token " de l'Ukraine"   ➔ Logit : +14,2                │
│    • Token " ancienne"       ➔ Logit : +8,1                 │
│    • Token " de France"      ➔ Logit : -4,5                 │
├─────────────────────────────────────────────────────────────┤
│ 3. Normalisation Softmax(Logits / Température) :            │
│    • " de l'Ukraine"   ➔ 94,2 %                             │
│    • " ancienne"       ➔ 5,1 %                              │
│    • " de France"      ➔ 0,0001 %                           │
├─────────────────────────────────────────────────────────────┤
│ 4. Échantillonnage : sélection du token " de l'Ukraine"     │
│    Nouveau contexte : « Kyiv est la capitale de l'Ukraine » │
│    ➔ Prochaine étape                                        │
└─────────────────────────────────────────────────────────────┘

2. Implémentation du sampling en Python et inspection via CLI

Voici à quoi ressemble le calcul des probabilités du prochain token en Python, tenant compte de la température :

import numpy as np

def compute_next_token_probs(logits: np.ndarray, temperature: float = 0.7) -> np.ndarray:
    # 1. Масштабування температурою
    scaled = logits / max(temperature, 1e-4)
    # 2. Стабільний Softmax (віднімання максимуму для запобігання overflow)
    exp_logits = np.exp(scaled - np.max(scaled))
    probs = exp_logits / np.sum(exp_logits)
    return probs

# Приклад виклику: 4 можливі токени
mock_logits = np.array([12.5, 9.1, 4.0, 1.2])
print("Ймовірності токенів:", np.round(compute_next_token_probs(mock_logits, temperature=0.7), 4))

Comment visualiser les probabilités brutes des tokens via cURL dans le terminal :

Vous pouvez demander à l’API de retourner les logprobs exacts (probabilités logarithmiques) afin de voir les alternatives que le modèle a envisagées :

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [{"role": "user", "content": "Столиця Франції — це"}],
    "max_tokens": 1,
    "logprobs": true,
    "top_logprobs": 3
  }'

Dans la réponse JSON, le paramètre top_logprobs affichera les scores mathématiques précis pour des options comme Paris, ville, etc.

3. Pourquoi le Next-Token provoque des hallucinations et comment y remédier

Puisque le modèle génère le texte localement « ici et maintenant », il est sujet aux pièges statistiques :

1. Erreur d’engagement précoce (Early Commitment) : Si, dès les deux premiers mots, le modèle a choisi par hasard un token inapproprié, tous les tokens suivants tenteront de justifier ce mauvais choix plutôt que de reconnaître l’erreur.
2. Impossibilité de retour en arrière (No Backtracking) : L’inférence standard ne peut pas effacer un mot déjà généré.
3. Pourquoi les modèles de raisonnement (Reasoning Models / DeepSeek R1 / o3) fonctionnent mieux : Ils utilisent des chaînes de réflexion (<thought>...</thought>), générant des centaines de tokens d’analyse interne et d’auto-vérification avant de fournir la réponse finale.

4. Conclusion pratique pour le développeur

Gardez à l’esprit le pipeline autoregressif :

• Les prompts tels que "Réfléchis avant de répondre" ou "Développe étape par étape" fonctionnent non pas parce que l’IA devient plus attentive, mais parce que vous la forcez à générer des tokens de réflexion qui deviennent physiquement le contexte d’entrée pour le token final contenant la bonne réponse !