Découpage de documents en chunks (Chunking pour débutants)

1. Aperçu du concept et de sa finalité

Lorsqu'un débutant crée son premier chatbot pour répondre aux questions basées sur des instructions PDF, la première idée naïve est souvent : « Je vais simplement prendre le manuel de 200 pages du lave-linge et l'ingérer tel quel dans la base ».

Mais cela ne fonctionne pas ainsi :

• Si vous injectez le fichier entier d'un bloc, le vecteur obtenu sera flou, comme une photo prise dans le brouillard.
• Si vous découpez le fichier phrase par phrase, le modèle trouvera bien la ligne « Appuyez sur le bouton B », mais il ignorera à quel programme de lavage elle se rapporte, car le nom du programme figurait dans la phrase précédente.

Le Chunking (découpage en fragments) est l'art de diviser un grand texte monolithique en « portions d'information » de taille idéale.

Analogie pratique : c'est le secret d'ingénierie principal qui détermine à 90 % la qualité des réponses de votre bot d'entreprise.

2. Modèle mental du découpage avec chevauchement (Overlap)

Observez comment le chevauchement fonctionne à la jonction de deux fragments :

┌─────────────────────────────────────────────────────────────┐
│                 MÉCANIQUE DE CHUNKING AVEC RECOUVREMENT     │
├─────────────────────────────────────────────────────────────┤
│ 📄 CHUNK 1 (500 tokens) :                                   │
│    «...Pour activer le mode sécurité, tournez l'interrupteur│
│    dans le sens des aiguilles d'une montre jusqu'à la       │
│    butée. [DÉBUT DU RECOUVREMENT :                         │
│    Après cela, maintenez impérativement le bouton rouge     │
│    pendant 3 secondes]»                                     │
├─────────────────────────────────────────────────────────────┤
│                               ▲                             │
│                               │ (50 tokens partagés)        │
│                               ▼                             │
├─────────────────────────────────────────────────────────────┤
│ 📄 CHUNK 2 (500 tokens) :                                   │
│    "[FIN DU RECOUVREMENT : Après cela, maintenez            │
│    impérativement le bouton rouge pendant 3 secondes].       │
│    Assurez-vous que le voyant vert s'est mis à clignoter..."│
└─────────────────────────────────────────────────────────────┘

Grâce à ce chevauchement, même si l'utilisateur demande : « Combien de secondes faut-il maintenir le bouton rouge ? », le système retrouvera à la fois le Fragment 1 et le Fragment 2 !

3. Les trois principales stratégies de découpage

1. Chunking à taille fixe (Fixed-size) : la méthode la plus simple — couper strictement tous les 500 caractères. Rapide, mais risque parfois de scinder des mots ou des phrases en deux.
2. Chunking sémantique par paragraphes : le texte est découpé selon les doubles sauts de ligne \n\n ou les points finaux, préservant l'intégrité de chaque idée distincte.
3. Chunking Markdown par titres (#, ##, ###) : le meilleur choix pour la documentation technique. Chaque sous-section devient un chunk distinct, tout en conservant le titre de la section parente.

4. Conclusion pratique

Si votre bot répond par bribes ou ne comprend pas le contexte, vous avez presque certainement découpé le texte trop finement. Augmentez la taille du chunk de 200 à 600 tokens et ajoutez 10 % de chevauchement — la précision des réponses augmentera instantanément !