Claude Code: Neue Funktion zur Plugin-Evaluation

Neu in Claude Code: Plugin-Evaluation

Mit der neuen Funktion können Sie nun genau nachvollziehen, welchen konkreten Mehrwert Ihr Plugin bietet und ob es Optimierungsbedarf hat.

Funktionsweise

1. Erstellung von Testfällen: Führen Sie das Plugin oder Skill aus, bewerten Sie die Ergebnisse und wiederholen Sie jeden Test ohne das Plugin, um die Differenz zu vergleichen.

2. Initialisierung: Starten Sie im Ordner Ihres Plugins und führen Sie folgenden Befehl aus:

   BASH

   Скопіювати

   claude plugin eval init
   

   Dabei erklären Sie Claude, wie ein gutes und ein schlechtes Ergebnis aussehen soll, und stellen mehrere reale Prompts bereit. Claude generiert daraufhin Testfälle, führt eigenständig Checks durch, startet einen Probelauf und meldet die geschätzten Kosten für einen vollständigen Durchlauf.

3. Evaluation: Führen Sie anschließend aus:

   BASH

   Скопіювати

   claude plugin eval
   

   Im Terminal sehen Sie die Auswertung jedes Testfalls mit und ohne Plugin. Zudem erhalten Sie einen HTML-Bericht mit allen Details. Falls Ihr Konto dies unterstützt, wird der Bericht auch als privates Artefakt veröffentlicht.

Wichtige Hinweise

• Die Checks rufen das Modell auf, verbrauchen also Tokens, und die Ergebnisse können von Lauf zu Lauf variieren. Führen Sie vor einem vollständigen Durchlauf zunächst einen Probelauf durch:

  BASH

  Скопіювати

  --runs 1
  

• Hooks und MCP-Server Ihres Plugins laufen in Ihrem Namen. Prüfen Sie daher nur Plugins, denen Sie vertrauen.

Neue Funktion testen

Um die Funktion zu nutzen, führen Sie aus:

claude update

Dokumentation