Des chercheurs indépendants découvrent une faille permettant de restaurer le raisonnement caché des modèles d'IA de pointe

Des chercheurs indépendants découvrent une faille permettant de restaurer le raisonnement caché des modèles d'IA de pointe

L'étude démontre que le raisonnement chiffré de n'importe quel modèle développé par OpenAI, Anthropic ou Google peut être décodé littéralement, sans nécessiter de jailbreak du modèle.

Les auteurs ont identifié une faille architecturale : les blocs de raisonnement chiffrés sont entièrement compatibles et interchangeables entre différentes sessions, utilisateurs et modèles au sein de l'écosystème d'un même fournisseur. Par exemple, si l'on prend le raisonnement chiffré d'Opus et qu'on le soumet à Haiku, un modèle moins puissant, ce dernier est capable de lire ces « pensées » et de les restituer mot pour mot en texte clair. La méthode est d'une simplicité troublante.

Conséquences

1. Cette vulnérabilité permet de contourner les mesures anti-distillation.
2. De nombreux blocs de raisonnement cachés se trouvent dans des dépôts publics et peuvent contenir des données sensibles (l'article a révélé 367 artefacts contenant des informations personnelles identifiables et 182 comptes dans un échantillon de 315 320 blocs).
3. Elle facilite les attaques par jailbreak et les injections de prompts.

Les chercheurs ont déjà transmis leurs conclusions aux laboratoires concernés, qui affirment que des travaux correctifs sont en cours.