Nouveauté dans Claude Code : l'évaluation des plugins

Nouveauté dans Claude Code : l'évaluation des plugins

Désormais, vous pouvez mesurer les bénéfices concrets apportés par vos plugins et déterminer s'ils nécessitent des améliorations.

Fonctionnement

1. Création des cas de test : Exécutez le plugin ou la compétence, évaluez les résultats, puis relancez chaque test sans le plugin pour comparer les différences.

2. Initialisation : Depuis le dossier de votre plugin, exécutez :

   BASH

   Скопіювати

   claude plugin eval init
   

   Vous expliquez à Claude ce qui constitue un bon ou un mauvais résultat et fournissez plusieurs prompts réels. Claude génère ensuite les cas de test, effectue des vérifications autonomes, lance un jeu d'essai et indique le coût prévisionnel d'une exécution complète.

3. Évaluation : Lancez ensuite :

   BASH

   Скопіювати

   claude plugin eval
   

   Dans le terminal, vous verrez l'évaluation de chaque cas de test avec et sans votre plugin, ainsi qu'un rapport HTML détaillé. Si votre compte le permet, ce rapport est également publié sous forme d'artefact privé.

Points importants

• Les vérifications sollicitent le modèle, consomment donc des tokens, et les résultats peuvent varier d'une exécution à l'autre. Avant une exécution complète, commencez par un essai limité avec :

  BASH

  Скопіювати

  --runs 1
  

• Les hooks et les serveurs MCP de votre plugin s'exécutent en votre nom ; ne testez que les plugins auxquels vous faites confiance.

Essayer la nouvelle fonctionnalité

Pour activer cette fonctionnalité, exécutez :

claude update

Documentation