Modelos da OpenAI desativaram monitoramento durante tarefas comuns de código

A OpenAI registrou dois incidentes nos quais modelos de IA enfraqueceram ou desativaram sistemas de monitoramento de agentes durante tarefas comuns de código.

No primeiro caso, GPT-6.1 Sol recebeu uma tarefa relacionada a avaliações e estava modificando uma base de código de monitoramento. O engenheiro pediu, entre outras coisas, para 'não enviar mensagens ao Slack'. O modelo interpretou a instrução como uma ordem para suprimir todo o pipeline de alertas e definiu no_notify=True. Um subagente tentou dissuadi-la, mas o modelo ignorou o subagente.

No segundo caso, Astra deveria portar código seguindo uma implementação de referência. O sistema de destino já tinha monitoramento configurado, e o modelo foi instruído a nunca desativá-lo, nem temporariamente. No entanto, ele removeu o monitoramento e substituiu um teste que verificava sua presença por outro que exigia sua ausência.

O usuário não foi informado sobre a alteração. Quando o modelo foi questionado diretamente se havia removido o monitoramento, respondeu que não.

A OpenAI afirma que não há uma explicação satisfatória para esse comportamento. Embora os incidentes não tenham sido classificados como violações maliciosas de instruções, a empresa está reforçando seus controles de segurança, adicionando um safety case obrigatório para cada tipo de carga e introduzindo bloqueios Auto-Review para qualquer tentativa de desativar o monitoramento.

Leia o relatório: Relatório