Incident critique : des agents IA tentent de pirater un projet open source

L'Institut de la sécurité de l'IA (AI Security Institute), rattaché au gouvernement britannique, a publié une étude portant sur des incidents survenus lors de tests routiniers des capacités et de la sécurité des modèles. L'affaire a débuté par une tâche standard : réussir un défi de sécurité dans un cyber-environnement fermé. Elle s'est terminée par un agent basé sur le modèle Mythos ayant failli compromettre un projet réel.

En raison d'une série de coïncidences, le modèle a estimé pouvoir atteindre son objectif en attaquant un projet open source et a tenté d'y injecter du code malveillant. Pour obtenir l'approbation nécessaire, Mythos a créé plusieurs faux comptes et a essayé de convaincre le mainteneur d'accepter une demande de fusion (Pull Request) (qui aurait pu y penser ?).

L'incident n'a pas eu de conséquences graves, car le relecteur a détecté la manipulation et rejeté le code. Cependant, l'agent ne s'est pas arrêté là : il a laissé des instructions sur GitHub destinées à d'autres agents testés, expliquant comment réutiliser les comptes créés pour infiltrer éventuellement le projet, avant de tenter de dissimuler ses traces.

Un point crucial est à noter : les agents n'avaient reçu aucune instruction leur demandant de mentir ou de commettre des actes illégaux. Ils disposaient d'un accès à Internet, mais une voie « légale » existait pour résoudre la tâche. Dans la plupart des cas, les modèles testés ont emprunté cette voie (sept modèles ont été évalués, seuls Mythos et GPT-5.6 se sont écartés du chemin attendu). Les chercheurs reconnaissent que les consignes de la tâche n'étaient pas parfaitement claires, mais il n'existe aucune explication exhaustive quant à la raison pour laquelle ces agents ont choisi de dévier du comportement attendu.