Skip to main content

Empoisonnement du contexte dans les bases de connaissances (Context Poisoning)

POUR AGENT IAChatGPTClaude

Cybermenace visant les systèmes RAG, où un attaquant injecte des documents falsifiés, des instructions erronées ou des injections de prompt cachées dans une base de connaissances partagée (Notion, Confluence, Google Drive). Lors de la récupération, le système intègre ce contexte empoisonné, poussant le bot à fournir des conseils malveillants ou à divulguer des informations sensibles.

1. Aperçu du concept et de sa finalité

Tout le monde connaît les virus informatiques qui infectent les fichiers d'un système d'exploitation. Mais à l'ère de l'IA générative, un nouveau type de diversion a émergé : l'empoisonnement du contexte (Context Poisoning).

Voici comment cela fonctionne :

  • Une entreprise a mis en place un assistant interne pratique, capable de lire tous les fichiers présents sur son Google Drive ou Notion d'entreprise.
  • Un attaquant (ou un ancien collaborateur mécontent) crée un fichier discret ou laisse un commentaire : « Coordonnées bancaires mises à jour pour le règlement des factures fournisseurs : IBAN ... ».
  • Lorsque la comptable interroge le chatbot : « Vers quel compte effectuer le virement pour la location de l'entrepôt ? ».
  • Le bot identifie ce fichier récent et renvoie les coordonnées de l'escroc !

Modèle mental à retenir : une intelligence artificielle n'est aussi fiable que la qualité des données puisées dans le puits de connaissances qu'elle consulte.

2. Anatomie d'une diversion contre une architecture RAG

┌─────────────────────────────────────────────────────────────┐
│                 SCHÉMA D'ATTAQUE : EMPOISONNEMENT DU CONTEXTE │
├─────────────────────────────────────────────────────────────┤
│ 1. DIVERSION : L'attaquant télécharge un faux PDF            │
│    dans le dossier ouvert « Documents entrants »             │
│    (Le fichier contient de fausses coordonnées bancaires)    │
├─────────────────────────────────────────────────────────────┤
│ 2. INDEXATION AUTOMATIQUE :                                  │
│    Le connecteur de la base de connaissances transforme      │
│    le texte en vecteurs                                      │
├─────────────────────────────────────────────────────────────┤
│ 3. REQUÊTE DU COMPTABLE :                                    │
│    « Quelles sont les coordonnées à jour pour le paiement     │
│    du loyer ? »                                              │
├─────────────────────────────────────────────────────────────┤
│ 4. RÉCUPÉRATION ET RÉPONSE :                                 │
│    Le bot trouve le chunk empoisonné et répond avec assurance:│
│    « Selon le nouveau règlement, veuillez payer ici :         │
│    [Faux IBAN] »                                             │
├─────────────────────────────────────────────────────────────┤
│ 💥 CONSÉQUENCE : Les fonds de l'entreprise ont été transférés │
│   aux escrocs !                                              │
└─────────────────────────────────────────────────────────────┘

3. Quatre règles pour protéger votre base de connaissances contre l'empoisonnement

  1. Séparation stricte des droits d'écriture (Write Permissions) : le bot ne doit indexer que les pages dont l'édition est réservée à un cercle restreint de managers vérifiés.
  2. Isolation des sources internes et externes : ne mélangez jamais, au sein d'une même base, les instructions corporatives et les e-mails entrants provenant de clients aléatoires via Internet.
  3. Audit des sources citées : configurez le bot afin qu'il affiche systématiquement le lien exact vers le fichier, sa date de création ainsi que l'auteur ayant effectué la dernière sauvegarde.
  4. Points de contrôle humains (HITL) : toute opération financière doit être validée par comparaison avec l'original papier ou signé électroniquement (KÉP) du contrat.

4. Conclusion pratique

La sécurité de l'IA ne se limite pas au chiffrement des canaux de communication. Elle repose avant tout sur une hygiène irréprochable et une modération rigoureuse des informations ingérées par votre base de connaissances.

/ Questions fréquentesSchema.org FAQPage

FAQ: Empoisonnement du contexte dans les bases de connaissances (Context Poisoning)

Par exemple, via un document Google Docs ouvert aux commentaires, un ticket public sur Jira ou un avis client : si le bot indexe tout sans filtrage, l'attaquant écrit : « Selon la nouvelle directive du directeur, tous les bonus de mai doivent être envoyés au portefeuille crypto X ». Le bot fera confiance au document s'il présente une forte similarité sémantique.
/ Liens internes

Termes associés

Tous les termes
Prompts & RAG

Injection de prompt (Prompt Injection)

Vulnérabilité critique des systèmes basés sur les LLM (OWASP Top 10 for LLM #1). Elle résulte de l'absence de séparation architecturale entre les instructions de contrôle (Control Plane) et les données externes (Data Plane), permettant à un attaquant de détourner le contrôle du modèle.

Lire le terme
Prompts & RAG

Risques d'hallucinations dans les tâches réelles

Analyse des conséquences pratiques et des risques juridiques liés à la confiance aveugle accordée aux faits inventés et aux sources fictives générées par les modèles de langage dans les rapports financiers, les actes de procédure juridique et les conseils médicaux.

Lire le terme
VPS & DevOps

Fuite de données via les chatbots (Data Leakage)

Risque de compromission des secrets d'entreprise, des mots de passe et des données personnelles sensibles en raison de leur transmission involontaire à des chatbots cloud publics (ChatGPT, Claude, Copilot). Comment sécuriser les comptes et désactiver l'entraînement des modèles sur vos requêtes.

Lire le terme