Anthropic объяснила, как проверяет код, написанный ИИ
Anthropic пишет, что Claude генерирует около 90% кода Claude Code, а процесс код-ревью построен на нескольких ИИ-агентах, риск-ориентированных одобрениях и feature flags для снижения инцидентов в продакшене.
Стоит прочитать, как Anthropic проверяет код, написанный искусственным интеллектом.
Claude пишет около 90% кода Claude Code. С июня по сентябрь количество смёрженных PR увеличилось более чем вдвое, а доля PR, изменения из которых впоследствии пришлось откатить, сократилась более чем на 40%.
Вот как в Anthropic организован процесс код-ревью:
Перед созданием PR: запускаются тесты и сборка проекта, после чего независимый агент проверяет внесённые изменения.
При проверке каждого PR: несколько агентов ищут ошибки, а другие проверяют обоснованность их выводов. Дополнительно проводятся проверка безопасности и автоматические проверки в CI.
Количество обязательных одобрений зависит от уровня риска: изменения с низким уровнем риска при соблюдении определённых условий могут быть приняты без участия человека. Для изменений со средним уровнем риска требуется одобрение одного проверяющего, а с высоким — двух.
Новые функции внедряются постепенно с помощью feature flags. Если возникают проблемы, изменения можно быстро откатить.
Предыдущие инциденты становятся основой для ежедневных тестов (evals), результаты которых используются для совершенствования ИИ-агента, проводящего код-ревью.
Особенно интересен подход Anthropic к оценке времени, затрачиваемого разработчиками.
Компания учитывает не только время, необходимое для проверки кода, но и время, которое приходится тратить на устранение последствий ошибок.
Сокращение времени на код-ревью не имеет смысла, если впоследствии разработчикам приходится тратить ещё больше времени на устранение инцидентов в продакшене.
Почему это важно
АналитикаПример показывает, как безопасно масштабировать ИИ-кодинг: агентное ревью, классификация рисков и откат превращают скорость в управляемую инженерную практику, а не в скрытые инциденты.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками