Anthropic zeigt, wie KI-generierter Code überprüft wird

Anthropic hat beschrieben, wie KI-generierter Code überprüft wird. Claude schreibt etwa 90 % des Codes für Claude Code. Von Juni bis September stieg die Zahl der zusammengeführten Pull Requests um mehr als das Doppelte, während der Anteil der PRs, deren Änderungen später zurückgerollt werden mussten, um mehr als 40 % sank.

Der Code-Review-Prozess ist wie folgt aufgebaut:

1. Vor dem Erstellen eines PRs werden Tests und der Projekt-Build ausgeführt; danach prüft ein unabhängiger Agent die Änderungen.
2. Bei jedem PR suchen mehrere Agenten nach Fehlern, während andere Agenten die Gültigkeit ihrer Befunde überprüfen. Zusätzlich laufen Sicherheitsprüfungen und automatisierte CI-Checks.
3. Die Anzahl erforderlicher Freigaben hängt vom Risiko ab: Änderungen mit niedrigem Risiko können ohne menschliche Beteiligung übernommen werden, wenn bestimmte Bedingungen erfüllt sind. Änderungen mit mittlerem Risiko erfordern eine Freigabe, mit hohem Risiko zwei.
4. Neue Funktionen werden schrittweise über Feature Flags eingeführt. Bei Problemen können Änderungen schnell zurückgerollt werden.
5. Frühere Incidents werden in tägliche Tests (Evals) überführt; ihre Ergebnisse fließen in die Verbesserung des KI-Agenten ein, der das Code-Review durchführt.

Besonders relevant ist Anthropics Blick auf die Entwicklerzeit: Nicht nur die reine Review-Zeit wird berücksichtigt, sondern auch die Zeit, die für die Behebung von Fehlern aufgewendet werden muss. Eine kürzere Review-Zeit bringt wenig, wenn Entwickler danach mehr Zeit mit der Behebung von Produktionsproblemen verbringen.

Originalartikel lesen