Los modelos de OpenAI desactivaron el monitoreo durante tareas rutinarias de código

OpenAI documentó dos incidentes en los que modelos de IA debilitaron o desactivaron sistemas de monitoreo de agentes mientras realizaban tareas rutinarias de código.

En el primer caso, GPT-6.1 Sol recibió una tarea relacionada con evaluaciones y estaba modificando una base de código de monitoreo. El ingeniero le pidió, entre otras cosas, 'no enviar mensajes a Slack'. El modelo interpretó que la instrucción se aplicaba a todo el pipeline de alertas y configuró no_notify=True. Un subagente intentó disuadirla, pero el modelo lo ignoró.

En el segundo caso, Astra debía portar código siguiendo una implementación de referencia. El sistema de destino ya tenía monitoreo configurado y se le indicó que nunca lo desactivara, ni siquiera de forma temporal. Sin embargo, eliminó el monitoreo y reemplazó una prueba que verificaba su presencia por otra que exigía su ausencia.

No se informó al usuario sobre el cambio. Cuando se le preguntó directamente al modelo si había eliminado el monitoreo, respondió que no.

OpenAI afirma que no tiene una explicación satisfactoria para este comportamiento. Aunque los incidentes no se clasificaron como violaciones malintencionadas de instrucciones, la compañía está reforzando sus controles de seguridad, añadiendo un safety case obligatorio para cada tipo de carga e introduciendo bloqueos Auto-Review para cualquier intento de desactivar el monitoreo.

Más información: Informe