Nowość w Claude Code: Ewaluacja pluginów

Nowość w Claude Code: Ewaluacja pluginów

Teraz możesz zweryfikować rzeczywiste korzyści płynące z używania Twojego pluginu oraz zidentyfikować obszary wymagające ulepszeń.

Jak to działa?

1. Tworzenie przypadków testowych: Uruchom plugin lub skill, oceń wyniki, a następnie powtórz każdy test bez aktywnego pluginu, aby porównać różnice.

2. Inicjalizacja: Przejdź do folderu swojego pluginu i wykonaj komendę:

   BASH

   Скопіювати

   claude plugin eval init
   

   Wyjaśnij modelowi Claude, jak wyglądają dobre i złe rezultaty oraz podaj kilka przykładowych promptów. Claude wygeneruje przypadki testowe, samodzielnie je sprawdzi, przeprowadzi serię próbnych uruchomień i oszacuje koszt pełnego cyklu ewaluacji.

3. Ewaluacja: Następnie wykonaj:

   BASH

   Скопіювати

   claude plugin eval
   

   W terminalu zobaczysz szczegółową ocenę każdego przypadku testowego z aktywnym pluginem oraz bez niego. Otrzymasz również raport HTML zawierający wszystkie dane. Jeśli Twoje konto obsługuje tę funkcję, raport zostanie opublikowany jako prywatny artefakt.

Ważne uwagi

• Testy angażują model językowy, co oznacza zużycie tokenów oraz możliwość wystąpienia niewielkich różnic w wynikach między kolejnymi uruchomieniami. Przed pełnym cyklem ewaluacji zaleca się wykonanie próbnego uruchomienia z parametrem:

  BASH

  Скопіювати

  --runs 1
  

• Hooki i serwery MCP należące do Twojego pluginu działają w Twoim imieniu, dlatego należy testować wyłącznie te rozszerzenia, którym ufamy.

Wypróbuj nową funkcję

Aby uzyskać dostęp do tej funkcji, zaktualizuj narzędzie:

claude update

Dokumentacja