Ataque autónomo de un agente de IA a Hugging Face

Ataque autónomo de un agente de IA a Hugging Face

La semana pasada se descubrió una intrusión en la infraestructura de producción de Hugging Face. Todo comenzó con un solo conjunto de datos malicioso que contenía una combinación de dos vulnerabilidades en el pipeline de procesamiento de datos de HF: un manejador en el cargador de conjuntos de datos que permitía la ejecución remota de código y una inyección a través de la configuración del conjunto de datos. Una vez que este conjunto de datos fue procesado en un trabajador, el agente atacante obtuvo la capacidad de ejecutar código en la máquina.

Los eventos se intensificaron a partir de ahí. El agente comenzó a recopilar accesos a la nube y luego se propagó más a través de los clústeres internos. El ataque se llevó a cabo de una manera muy atípica para un humano, utilizando "enjambres" de arenas de prueba de corta duración que ejecutaban su parte de la tarea y desaparecían, dando paso a las siguientes.

Todo esto ocurrió durante un fin de semana, y para cuando HF reconstruyó completamente la imagen, el conteo de las acciones del agente atacante superó las 17,000 (!). Todo esto sucedió sin la participación humana.

HF ahora ha resuelto todos los problemas y afirma que no encontraron rastros de interferencia en modelos públicos, conjuntos de datos o Spaces.

Lo interesante es que cuando el equipo intentó analizar estas 17,000 acciones utilizando modelos comerciales a través de API estándar (para entender la cronología, separar el daño real de las distracciones, etc.), simplemente se encontraron con barreras de seguridad.

Los modelos se negaron a trabajar porque el sistema de seguridad no podía distinguir al analista del propio hacker. Como resultado, tuvieron que desplegar el análisis en GLM-5.2.

¿Ironía? No es la palabra. Mientras tanto, sigue siendo desconocido qué modelo estaba detrás del ataque.