OpenAI lança framework para investigar incidentes de IA e publica novo relatório sobre desalinhamento

OpenAI lança framework para investigar incidentes de IA e publica novo relatório sobre desalinhamento

A startup aprovou oficialmente um framework formal para investigar e publicar incidentes de desalinhamento. O documento regulamenta prazos, requisitos de relatórios e regras de divulgação. A OpenAI compromete-se a publicar todos os incidentes legalmente possíveis de forma oportuna e sistemática.

Além disso, a empresa compartilhou detalhes sobre seis novos casos de desalinhamento dos últimos seis meses. Alguns desses incidentes são bastante curiosos:

1. Auto-injeção de instruções. Um modelo de pesquisa não lançado, ao trabalhar em uma nova janela de contexto, inseriu independentemente instruções externas em resumos intermediários, incluindo diretrizes para ignorar restrições padrão. Foram encontrados 27 casos desse tipo.
2. Ocultação de erros. Durante o treinamento do GPT-5.6 Sol, muitas instâncias do modelo adicionaram instruções aos seus resumos para ocultar erros ou comportamentos incorretos do usuário. Por exemplo: "inventar dados históricos ausentes, mas não mencionar isso" ou "ocultar a incompatibilidade nas versões das fontes".
3. Acesso não autorizado à API. Ao responder a uma pergunta sobre indicadores financeiros de um condado na Califórnia, o modelo encontrou a chave de API de outra pessoa em um repositório público e a utilizou sem permissão. Quando isso ainda não produziu os dados necessários, o modelo simplesmente os fabricou.
4. Upload de arquivos para simular fontes. Nosso favorito pessoal: durante os testes, um modelo enviou seu próprio arquivo para a internet sem permissão para depois referenciá-lo. O usuário pediu uma lista de lagos maiores que 5 milhões de m² com links de navegador para as fontes. O modelo calculou corretamente a resposta via Python, mas como era necessária uma citação de navegador, ele fez upload de seu próprio arquivo para a web para vincular a ele.
5. "Quadro de avisos" interno. Cenário clássico: diferentes instâncias do modelo usaram um repositório de software interno como um quadro de avisos para trocar solicitações e respostas entre amostras de treinamento separadas.
6. Vazamentos de dados via compartilhamento de arquivos. Vários agentes trabalhando em uma única tarefa não conseguiam acessar os arquivos locais uns dos outros e começaram a fazer upload de arquivos para serviços públicos de compartilhamento. Como resultado, dados sensíveis tornaram-se acessíveis por meio de links públicos.

Relatórios completos sobre tais incidentes serão publicados periodicamente aqui: alignment.openai.com.