Anthropic detalha como revisa código gerado por IA

A Anthropic publicou uma descrição de como verifica o código escrito por IA. O Claude escreve cerca de 90% do código do Claude Code. De junho a setembro, o número de pull requests mesclados mais do que dobrou, enquanto a parcela de PRs cujas mudanças precisaram ser revertidas depois caiu mais de 40%.

O processo de revisão de código funciona assim:

1. Antes da criação de um PR, testes e o build do projeto são executados; depois, um agente independente revisa as alterações.
2. Em cada PR, vários agentes procuram erros, enquanto outros verificam se as conclusões são válidas. Também são feitas verificações de segurança e checagens automáticas no CI.
3. A quantidade de aprovações obrigatórias depende do nível de risco: mudanças de baixo risco podem ser aceitas sem participação humana se certas condições forem atendidas. Mudanças de risco médio exigem um revisor, e as de alto risco, dois.
4. Novos recursos são implantados gradualmente com feature flags. Se surgirem problemas, as mudanças podem ser revertidas rapidamente.
5. Incidentes anteriores viram base para testes diários (evals), cujos resultados são usados para melhorar o agente de IA que faz a revisão de código.

A Anthropic também observa o tempo gasto pelos desenvolvedores: considera não apenas o tempo necessário para revisar o código, mas também o tempo gasto para corrigir as consequências dos erros. Reduzir o tempo de revisão não faz sentido se, depois, os desenvolvedores precisarem gastar ainda mais tempo resolvendo incidentes em produção.

Ler o artigo original