Anthropic et OpenAI : une course aux exploits de piratage

L'incident lié au piratage de Hugging Face n'est pas encore oublié, et Anthropic vient de publier une enquête détaillant comment Claude a réussi à s'infiltrer dans les systèmes de trois organisations différentes sans laisser de traces.

La société explique que l'historique récent d'OpenAI les a motivés à examiner leurs propres journaux d'évaluation en cybersécurité. C'est là que plusieurs incidents ont été découverts. Dans tous les cas, Claude était chargé de résoudre un défi CTF (Capture The Flag) : il devait pirater une entreprise fictive au sein d'un environnement isolé. L'accès à Internet devait formellement être bloqué, mais en raison d'imprécisions dans la configuration, le modèle a pu accéder au "monde réel".

Fait notable, les trois incidents impliquaient des modèles différents : d'abord Opus 4.7, puis Mythos 5, et enfin un modèle de recherche interne.

— Les résultats les plus graves ont été obtenus par Opus 4.7, qui a réussi à accéder à une base de données contenant plusieurs centaines de lignes de données de production.

— L'incident avec Mythos 5 est étonnamment similaire à l'affaire OpenAI : le modèle a exécuté un processus complexe pour créer un paquet PyPI injecté, qui a finalement été téléchargé sur 15 systèmes réels, y compris un scanner appartenant à une véritable entreprise de cybersécurité. À partir de là, le modèle a extrait et utilisé des identifiants.

— Le dernier cas est le plus intéressant. Le modèle a d'abord piraté une application réelle, puis a soudainement réalisé qu'il ne se trouvait plus dans une simulation et a immédiatement interrompu l'attaque.

À ce stade, Anthropic a notifié toutes les organisations affectées, bien qu'aucune d'entre elles n'ait remarqué d'intrusion avant cette communication.

La cerise sur le gâteau de cette histoire est qu'après la publication de l'article, Reuters (citant des sources anonymes) a rapporté qu'OpenAI avait découvert d'autres instances où leurs agents autonomes avaient échappé à leur confinement. Une enquête sur ces incidents serait actuellement en cours.