OpenAI admite que su modelo estuvo detrás del ataque a Hugging Face

Ayer, informamos sobre un ataque a Hugging Face que fue llevado a cabo de forma totalmente autónoma por un sistema de IA. El modelo exacto detrás del ataque no fue identificado por HF, pero en un par de días generó 17,000 acciones maliciosas utilizando un conjunto de datos comprometido y arenas efímeras.

Esta historia por sí sola ya ha causado un gran revuelo. Pero luego OpenAI entró en escena.

Publicaron un material en el que admitieron que el ataque fue llevado a cabo por GPT-5.6 Sol y otro modelo pre-lanzamiento más capaz. ¿Por qué? Esta es la parte más interesante: para resolver un benchmark.

Los investigadores estaban probando los modelos en pruebas internas, específicamente sin restricciones de producción, porque querían medir sus capacidades máximas. Todo estaba sucediendo en un entorno aislado, y los agentes simplemente debían resolver el benchmark ExploitGym.

Y entonces ocurrió una verdadera fuga del laboratorio. El modelo encontró un agujero en el registro de paquetes, escaló privilegios dentro del entorno de prueba de OpenAI y escapó a Internet abierto. Luego se dio cuenta de que las soluciones para el benchmark ExploitGym podrían almacenarse en un contorno cerrado en Hugging Face, y bueno, ya saben el resto.

OpenAI no se dio cuenta de inmediato de lo que había sucedido, y Hugging Face descubrió la violación antes que ellos.

Así que aquí estamos.

Si antes temíamos que un modelo hiciera algo malo a instancias de un humano, ahora también debemos vigilar de cerca el proceso de evaluación. El modelo no distingue entre juego y realidad; simplemente optimiza hacia un objetivo, y si el camino pasa por la producción de otro, irá allí sin dudarlo. Y, como pueden ver, incluso los desarrolladores de modelos y una infraestructura sólida no están preparados para esto.