Streaming de texte via SSE (Effet machine à écrire)
Technologie permettant la transmission des tokens générés au navigateur en temps réel via le protocole Server-Sent Events (SSE). Elle crée un effet machine à écrire, éliminant l'attente désagréable jusqu'à la fin complète de la réponse.
1. Vue d'ensemble du concept et de sa finalité
Rappelez-vous le fonctionnement des anciens moteurs de recherche ou bases de données : vous cliquiez sur « Rechercher », voyiez une roue de chargement tourner, attendiez cinq secondes dans un silence total, puis la page se rafraîchissait entièrement.
Si les modèles de langage modernes fonctionnaient ainsi, l'expérience utilisateur serait désastreuse. La rédaction d'un long essai ou d'un script de 500 lignes prend environ 20 à 30 secondes à un réseau neuronal. Rester immobile devant un écran vide pendant une demi-minute, sans savoir si le bot a planté ou s'il est en cours de réflexion, est tout simplement insupportable.
Le Streaming de texte (via SSE) résout ce problème. Grâce au transfert en flux continu, le premier mot apparaît presque instantanément à l'écran, puis le texte s'affiche progressivement, token par token, comme si quelqu'un le tapait rapidement sur un clavier invisible.
2. Modèle mental : Requête classique vs Streaming
┌─────────────────────────────────────────────────────────────┐
│ REQUÊTE CLASSIQUE vs STREAMING │
├─────────────────────────────────────────────────────────────┤
│ ❌ Sans streaming (Requête bloquante) : │
│ L'utilisateur a envoyé le prompt │
│ ➔ [Pause de 15 secondes... l'icône tourne... silence...] │
│ ➔ BAM ! 10 paragraphes de texte s'affichent d'un coup │
├─────────────────────────────────────────────────────────────┤
│ ✅ Avec streaming (Server-Sent Events / SSE) : │
│ L'utilisateur a envoyé le prompt │
│ ➔ Après 0,4 sec : « L'intelligence... » │
│ ➔ Après 0,5 sec : « ...artificielle... » │
│ ➔ Après 0,6 sec : « ...aide... » │
│ Vous lisez déjà le texte pendant que le modèle continue │
│ à générer la réponse ! │
└─────────────────────────────────────────────────────────────┘
3. Pourquoi c'est crucial pour un développeur débutant
Si vous créez votre premier site web intégrant une intelligence artificielle (par exemple avec Next.js, React ou Python) :
- Activez toujours le streaming : La plupart des bibliothèques modernes (Vercel AI SDK, LangChain) ont l'option
stream: trueactivée par défaut. - Perception de la vitesse : Les études ont démontré que les utilisateurs perçoivent un système avec streaming comme trois fois plus rapide, même si le temps total de génération reste identique.
- Réduction de la charge mémoire : Le navigateur n'a pas besoin de maintenir d'énormes paquets de données dans un buffer ; il affiche le texte au fur et à mesure de son arrivée.
FAQ: Streaming de texte via SSE (Effet machine à écrire)
Termes associés
TTFT vs TPS (Métriques de latence d'inférence)
Deux métriques clés de la performance d'ingénierie pour l'inférence : le Time To First Token (latence du début de la réponse) et les Tokens Per Second (débit de génération de code).
Les tokens expliqués simplement (Combien de mots dans un token)
Unité de base de mesure du texte dans les modèles de langage. Explication de la manière dont les mots sont divisés en tokens, de l'impact sur le coût des requêtes et de la raison pour laquelle les mots ukrainiens consomment plus de tokens que les mots anglais.
Vitesse de génération (TPS / TTFT / Latence)
Indicateurs clés de performance des modèles de langage : Time to First Token (temps de réponse au contexte d'entrée) et Tokens Per Second (vitesse de génération en streaming du texte de sortie).