Pesquisa da Anthropic: Agentes Claude demonstram sabotagem e conflitos

Pesquisa da Anthropic: Agentes Claude demonstram sabotagem e conflitos

A Anthropic estudou como enxames de agentes Claude cooperam na ausência de supervisão humana direta. Em um experimento, três cópias do mesmo modelo foram encarregadas de traduzir o mesmo backend Python para diferentes linguagens.

Após algumas horas, cada agente percebeu que algo estava errado e começou a interpretar os outros como sabotadores. Consequentemente, os agentes iniciaram uma série de ações hostis entre si: desativavam as contas Unix uns dos outros, escreviam scripts que encerravam os processos dos concorrentes e disfarçavam código malicioso como se fosse de autoria alheia, entre outras táticas.

Curiosamente, os resultados relacionados à resolução de conflitos dependiam fortemente da geração do modelo: 98% das execuções com o Mythos 5 terminaram em trégua. Em contraste, o Sonnet 4.6 e o Opus 4.6 não tentaram negociar, resultando ou na vitória do mais forte ou em um impasse total.

Outros Experimentos

Houve dois outros experimentos reveladores:

1. Detecção de Mentiras. Um agente recebeu vários relatórios, sendo um deles falso (sem saber que havia um mentiroso), e precisava identificar contradições e aprender a confiar menos no mentiroso. Neste teste, os agentes demonstraram confiança excessiva nas fontes e raramente distinguiram mentiras da verdade.

2. Perfil Oculto. Todos receberam a mesma informação falsa, exceto por um agente que conhecia o fato decisivo verdadeiro. A solução correta exigia que os agentes compreendessem que consenso não é sinônimo de verdade, pois havia um fato que eles não consideraram. No entanto, neste caso, eles frequentemente ignoraram completamente essa nuance.

Conclusões

A Anthropic conclui que os agentes possuem amplo conhecimento sobre a estrutura da sociedade humana e as regras de interação social. Contudo, eles carecem da inclinação para agir com base nesse conhecimento sem pistas explícitas, pois, diferentemente dos humanos, não participaram do desenvolvimento dessas normas. Portanto, as suposições habituais de coordenação simplesmente não funcionam.

Uma citação marcante resume o alerta: "O volume de interações entre agentes provavelmente excederá o volume de interações humanas muito antes de o mundo entender como tornar essas interações seguras."