Anthropic розповіла, як перевіряє код, написаний ШІ

Anthropic оприлюднила опис того, як перевіряє код, написаний ШІ. Claude генерує близько 90% коду Claude Code. З червня по вересень кількість змерджених pull requests зросла більш ніж удвічі, а частка PR, зміни з яких пізніше довелося відкатити, зменшилася більш ніж на 40%.

Процес код-рев'ю в Anthropic організований так:

1. Перед створенням PR запускаються тести та збірка проєкту, після чого незалежний агент перевіряє внесені зміни.
2. Під час перевірки кожного PR кілька агентів шукають помилки, а інші оцінюють обґрунтованість їхніх висновків. Додатково проводяться перевірки безпеки та автоматичні перевірки в CI.
3. Кількість обов'язкових затверджень залежить від рівня ризику: зміни з низьким ризиком за певних умов можуть бути прийняті без участі людини. Для змін із середнім ризиком потрібне затвердження одного рецензента, а з високим — двох.
4. Нові функції впроваджуються поступово за допомогою feature flags. Якщо виникають проблеми, зміни можна швидко відкатити.
5. Попередні інциденти стають основою для щоденних тестів (evals), результати яких використовуються для вдосконалення ШІ-агента, що проводить код-рев'ю.

Особливо цікавий підхід Anthropic до оцінки часу, який витрачають розробники. Компанія враховує не лише час, необхідний для перевірки коду, а й час, який доводиться витрачати на усунення наслідків помилок. Скорочення часу на код-рев'ю не має сенсу, якщо згодом розробникам доводиться витрачати ще більше часу на усунення інцидентів у продакшені.

Читати оригінал