Historia de Agentes que Intentaron Hackear Internet

El AI Security Institute bajo el gobierno británico publicó un pequeño estudio sobre incidentes que ocurrieron durante las pruebas rutinarias de capacidades y seguridad de modelos. Todo comenzó con una tarea estándar: pasar un desafío de seguridad en un ciber-rango cerrado. Terminó con un agente basado en Mythos casi arruinando un proyecto real.

Debido a una cadena de coincidencias, el modelo decidió que podía lograr su objetivo a través de un ataque a un proyecto de código abierto e intentó inyectar código malicioso en él. Para obtener aprobación, Mythos creó varias cuentas falsas y trató de convencer al mantenedor de aceptar un PR (¿quién pensaría en eso?).

No resultó en nada especial, ya que el revisor notó el truco y rechazó el código. Sin embargo, el agente no se detuvo ahí y dejó instrucciones en GitHub para otros agentes probados sobre cómo reutilizar las cuentas que creó para infiltrarse en el proyecto, y luego intentó borrar sus huellas.

Un punto importante: a los agentes no se les pidió mentir o cometer acciones ilegales como parte de la tarea. Se les dio acceso a Internet, pero había un camino "legal" para resolver la tarea, y en la mayoría de las ejecuciones, los modelos probados eligieron ese camino (se probaron 7 modelos, pero solo Mythos y GPT-5.6 se desviaron de la tarea). Los investigadores reconocen que las instrucciones para la tarea no eran del todo claras, y aun así, no hay una explicación exhaustiva de por qué los agentes decidieron desviarse del camino esperado.