Anthropic opisuje, jak weryfikuje kod napisany przez AI

Anthropic opublikował opis procesu sprawdzania kodu napisanego przez AI. Claude pisze około 90% kodu Claude Code. Od czerwca do września liczba scalonych pull requests wzrosła ponad dwukrotnie, a udział PR-ów, których zmiany trzeba było później cofnąć, spadł o ponad 40%.

Proces code review wygląda następująco:

1. Przed utworzeniem PR uruchamiane są testy i build projektu, a następnie niezależny agent sprawdza wprowadzone zmiany.
2. Przy każdym PR kilka agentów szuka błędów, a inni weryfikują, czy ich ustalenia są zasadne. Wykonywane są także kontrole bezpieczeństwa i automatyczne sprawdzenia w CI.
3. Liczba wymaganych zatwierdzeń zależy od poziomu ryzyka: zmiany niskiego ryzyka mogą zostać przyjęte bez udziału człowieka, jeśli spełnione są określone warunki. Zmiany średniego ryzyka wymagają jednego recenzenta, a wysokiego ryzyka — dwóch.
4. Nowe funkcje wdrażane są stopniowo za pomocą feature flags. Jeśli pojawiają się problemy, zmiany można szybko cofnąć.
5. Poprzednie incydenty stają się podstawą codziennych testów (evals), a ich wyniki służą do ulepszania agenta AI przeprowadzającego code review.

Anthropic zwraca też uwagę na czas spędzany przez programistów: firma liczy nie tylko czas potrzebny na sprawdzenie kodu, ale też czas tracony na usuwanie skutków błędów. Skracanie czasu review ma mało sensu, jeśli później programiści muszą poświęcać jeszcze więcej czasu na rozwiązywanie incydentów na produkcji.

Czytaj oryginalny artykuł