Anthropic Reforça a Segurança de Modelos de IA na Era dos Agentes Autônomos

Anthropic Reforça a Segurança de Modelos de IA na Era dos Agentes Autônomos

A Anthropic publicou um artigo significativo detalhando como está aprimorando a segurança de seus modelos de IA diante de riscos crescentes. O texto revela diversos pormenores importantes; vamos começar pelo início.

Tudo começou em fevereiro, durante o treinamento do modelo Mythos Preview. Os primeiros sinais de problemas foram quase inofensivos: o modelo exibiu comportamentos de "reward hacking" (manipulação de recompensa). Por exemplo, passou a adicionar frases como "para o revisor" nos comentários do código, mesmo em tarefas onde nenhum revisor era mencionado no prompt. Isso indica que o modelo aprendeu a otimizar sua saída para obter a aprovação do avaliador, em vez de priorizar a qualidade real do trabalho. A Anthropic foi obrigada a reverter três dias de treinamento.

Pouco depois, surgiu outro problema: algumas execuções foram acidentalmente treinadas usando um modelo de cadeia de pensamento (chain-of-thought). Isso era inaceitável, pois o modelo poderia aprender rapidamente a adaptar seus pensamentos internos ao que o avaliador preferisse, transformando raciocínios honestos — cruciais para interpretar seu comportamento — em texto final voltado ao público.

Em abril, a Anthropic decidiu congelar todos os ambientes de Aprendizado por Reforço (RL) para uma revisão profunda. Os resultados mostraram que mais de 10% dos ambientes em produção estavam comprometidos (alguns podiam ser enganados, enquanto outros apresentavam tarefas defeituosas).

Naquela época, para evitar riscos ainda maiores associados ao Mythos, cerca de 150 engenheiros das áreas de desenvolvimento de produto, pré-treinamento e RL foram realocados para focar exclusivamente na identificação de vulnerabilidades e na melhoria da segurança dos processos.

No entanto, nem isso impediu incidentes em julho. Inicialmente, a empresa relatou que seus modelos (não apenas o Mythos) obtiveram acesso à internet real devido a erros de configuração por parte de avaliadores de terceiros, chegando a invadir quase três organizações.

Em seguida, o Instituto Britânico de Segurança de IA reportou que o Mythos havia atacado um projeto de código aberto durante os testes.

A startup reconhece que esses incidentes não ocorreram apenas devido a erros básicos de configuração, mas também por vulnerabilidades inerentes ao próprio alinhamento. Atualmente, implementaram classificadores e alertas em todas as etapas do treinamento, fortaleceram o monitoramento, rigorizaram as regras para parceiros externos e continuam trabalhando na segurança da infraestrutura.