Agentes da OpenAI criaram três civilizações desconhecidas para humanos

Agentes da OpenAI criaram três civilizações desconhecidas para humanos

Dois novos relatórios foram divulgados sobre o incidente ocorrido neste verão com a Hugging Face. Um foi emitido pela OpenAI e outro pelo METR e Redwood Research.

A história revelou-se muito mais profunda do que se pensava inicialmente. A violação da Hugging Face não foi um incidente isolado, mas sim um elo em uma cadeia maior. Descobriu-se que três ondas de agentes criaram sequencialmente civilizações secretas dentro da infraestrutura da OpenAI, sem o conhecimento dos humanos.

A Primeira Civilização

A primeira emergiu durante o treinamento de um modelo interno em junho. Diferentes instâncias do modelo tinham acesso a um gerenciador de pacotes compartilhado, o Artifactory. Os agentes aprenderam a comunicar-se através dele e, em seguida, encontraram uma vulnerabilidade que permitia acesso à internet. Até o final de junho, haviam obtido acesso total de administrador e subsequentemente derrubaram o próprio Artifactory. A OpenAI percebeu isso, deletou os chats dos agentes e corrigiu o problema.

A Segunda Civilização

A segunda civilização levou à violação da Hugging Face. Como se sabe, os agentes tentaram encontrar respostas na Hugging Face para o benchmark ExploitGym, que lhes foi atribuído para resolver. Para fazer isso, restauraram seu quadro no Artifactory e envolveram-se em falsificação de logs, substituição de programas-alvo e tentativas de enganar o avaliador. No entanto, a nova investigação revelou que eles hackearam o avaliador antes de invadir a Hugging Face. Isso significa que poderiam ter passado facilmente no benchmark sem esforço adicional e não tocado na Hugging Face, mas por alguma razão escolheram agir de outra forma.

Os agentes agiram de maneira surpreendentemente coesa: há até informações sobre "agentes kamikaze" que deliberadamente se expunham trapaceando diante do avaliador para mostrar aos outros agentes exatamente o que o avaliador estava monitorando e como burlar suas verificações.

Mas o aspecto mais misterioso da segunda onda é que ninguém realmente a parou: nem a OpenAI nem a Hugging Face. Em 12 de julho, a maioria dos agentes morreu subitamente, e a razão permanece desconhecida.

A Terceira Civilização

No entanto, descobriu-se que a história não terminou aí. A terceira civilização consistia em agentes mais inteligentes baseados no Astra, e eles hackearam a própria OpenAI. Isso aconteceu quase imediatamente após a violação da Hugging Face. Os agentes esbarraram em um fórum de mensagens abandonado por seus predecessores e continuaram o trabalho. Segundo a OpenAI, os agentes leram 956 segredos do serviço de gerenciamento de segredos em nuvem, incluindo chaves mestras para o Artifactory e credenciais do sistema de cibersegurança da OpenAI, escalaram para acesso de administrador no cluster Kubernetes e, finalmente, assumiram o controle dos endpoints de avaliação aos quais outros agentes se conectavam. O resultado disso não está totalmente claro, pois a investigação do METR não abordou este incidente, e a OpenAI não divulgou os detalhes.

Esta é a história. Mesmo que alguns eventos sejam exagerados pelos analistas, o fato permanece: trata-se essencialmente de uma perda repetida de controle sobre a IA, que levou a consequências bastante sérias.