Nowość w Claude Code: Ewaluacja pluginów
Claude Code wprowadza funkcję ewaluacji, umożliwiającą deweloperom precyzyjną ocenę skuteczności i wartości dodanej ich pluginów.
Nowość w Claude Code: Ewaluacja pluginów
Teraz możesz zweryfikować rzeczywiste korzyści płynące z używania Twojego pluginu oraz zidentyfikować obszary wymagające ulepszeń.
Jak to działa?
Tworzenie przypadków testowych: Uruchom plugin lub skill, oceń wyniki, a następnie powtórz każdy test bez aktywnego pluginu, aby porównać różnice.
Inicjalizacja: Przejdź do folderu swojego pluginu i wykonaj komendę:
BASHclaude plugin eval initWyjaśnij modelowi Claude, jak wyglądają dobre i złe rezultaty oraz podaj kilka przykładowych promptów. Claude wygeneruje przypadki testowe, samodzielnie je sprawdzi, przeprowadzi serię próbnych uruchomień i oszacuje koszt pełnego cyklu ewaluacji.
Ewaluacja: Następnie wykonaj:
BASHclaude plugin evalW terminalu zobaczysz szczegółową ocenę każdego przypadku testowego z aktywnym pluginem oraz bez niego. Otrzymasz również raport HTML zawierający wszystkie dane. Jeśli Twoje konto obsługuje tę funkcję, raport zostanie opublikowany jako prywatny artefakt.
Ważne uwagi
Testy angażują model językowy, co oznacza zużycie tokenów oraz możliwość wystąpienia niewielkich różnic w wynikach między kolejnymi uruchomieniami. Przed pełnym cyklem ewaluacji zaleca się wykonanie próbnego uruchomienia z parametrem:
BASH--runs 1Hooki i serwery MCP należące do Twojego pluginu działają w Twoim imieniu, dlatego należy testować wyłącznie te rozszerzenia, którym ufamy.
Wypróbuj nową funkcję
Aby uzyskać dostęp do tej funkcji, zaktualizuj narzędzie:
claude update
Dlaczego to ważne
AnalizaTa funkcjonalność pozwala deweloperom obiektywnie mierzyć wpływ swoich rozwiązań na wydajność modelu, co bezpośrednio przekłada się na wyższą jakość produktów. Upraszcza też proces iteracyjnego testowania i optymalizacji pluginów.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami