Un agent IA autonome mène une attaque contre Hugging Face

Un agent IA autonome mène une attaque contre Hugging Face

La semaine dernière, une intrusion dans l'infrastructure de production de Hugging Face a été découverte. Tout a commencé avec un unique dataset malveillant contenant une combinaison de deux vulnérabilités dans le pipeline de traitement des données HF : un point d'entrée dans le chargeur de datasets permettant l'exécution de code à distance (RCE) et une injection via la configuration du dataset. Une fois ce dataset traité sur un worker, l'agent attaquant a acquis la capacité d'exécuter du code sur la machine.

Les événements ont pris une ampleur considérable par la suite. L'agent a commencé à collecter des accès cloud, puis s'est propagé davantage au sein des clusters internes. L'attaque a été menée d'une manière très atypique pour un humain, utilisant des "essaims" de sandboxes éphémères qui exécutaient leur partie de la tâche avant de disparaître, laissant place aux suivantes.

Tout cela s'est déroulé en l'espace d'un week-end, et lorsque HF a pu reconstituer l'image complète, le nombre d'actions de l'agent attaquant dépassait les 17 000 (!). Le tout s'est produit sans aucune intervention humaine.

HF a désormais résolu tous les problèmes et affirme qu'aucune trace d'interférence dans les modèles publics, les datasets ou les Spaces n'a été trouvée.

Ce qui est intéressant, c'est que lorsque l'équipe a tenté d'analyser ces 17 000 actions à l'aide de modèles commerciaux de pointe via des API standard (pour comprendre la chronologie, séparer les dommages réels des distractions, etc.), ils se sont heurtés aux garde-fous de sécurité.

Les modèles ont refusé de fonctionner car le système de sécurité ne pouvait pas distinguer l'analyste du hacker lui-même. En conséquence, ils ont dû déployer l'analyse sur GLM-5.2.

Ironie ? Ce mot ne suffit pas. Par ailleurs, il reste inconnu quel modèle était derrière cette attaque.