Anthropic détaille la revue du code généré par l'IA

Anthropic a publié une description de la façon dont elle vérifie le code écrit par l'IA. Claude produit environ 90 % du code de Claude Code. De juin à septembre, le nombre de pull requests fusionnés a plus que doublé, tandis que la part des PR dont les modifications ont dû être annulées plus tard a baissé de plus de 40 %.

Le processus de revue de code s'organise ainsi :

1. Avant la création d'une PR, les tests et la compilation du projet sont exécutés, puis un agent indépendant examine les modifications.
2. Pour chaque PR, plusieurs agents recherchent des erreurs, tandis que d'autres vérifient la validité de leurs conclusions. Des contrôles de sécurité et des vérifications automatiques dans le CI sont également réalisés.
3. Le nombre d'approbations obligatoires dépend du niveau de risque : les modifications à faible risque peuvent être acceptées sans intervention humaine si certaines conditions sont remplies. Les modifications à risque moyen nécessitent un approbateur, et les modifications à risque élevé deux.
4. Les nouvelles fonctionnalités sont déployées progressivement à l'aide de feature flags. En cas de problème, les modifications peuvent être annulées rapidement.
5. Les incidents antérieurs servent de base à des tests quotidiens (évaluations, ou evals) ; leurs résultats sont utilisés pour améliorer l'agent IA chargé de la revue de code.

Anthropic s'intéresse aussi au temps passé par les développeurs : l'entreprise prend en compte non seulement le temps de revue, mais aussi le temps nécessaire pour corriger les conséquences des erreurs. Réduire le temps de revue n'a guère de sens si les développeurs doivent ensuite consacrer encore plus de temps à la résolution d'incidents en production.

Lire l'article original