Проверка skills для plugins

О чём урок

Когда вы создаёте skill или объединяете несколько skills в plugin, вы по сути создаёте небольшой продукт, которым будут пользоваться другие люди. И, как всё, что вы передаёте коллеге (шаблон, финансовую модель в таблице, чек-лист), его стоит испытать, прежде чем выпускать из рук.

Когда вы пользуетесь skill, который создали сами, вы знаете, как обойти его недочёты и сбои. Вы точно знаете, что у него спросить, какие файлы дать и как должен выглядеть ответ. У коллеги ничего этого нет. Он может сформулировать запрос немного иначе, дать немного другие входные данные или столкнуться с пограничным случаем: необычной, но реальной ситуацией, например запросом, который чуть выходит за рамки того, для чего skill создавался. Именно здесь skills обычно и спотыкаются, а человек, который ими пользуется, не понимает почему.

Проверка skill с помощью evals (сокращение от evaluations, то есть оценки) позволяет поймать такие сбои раньше, чем на них наткнётся кто-то другой. Пусть термин вас не пугает. Eval это просто пробный прогон: на вход подаётся реалистичный запрос, вы смотрите на результат и говорите Claude, что исправить. Никакого кода и тестовых скриптов: только ваше суждение о том, достаточно ли хорош результат, чтобы поставить под ним своё имя.

Когда вы создаёте skill с помощью skill-creator (встроенного помощника Claude для создания skills), он проводит вас через evals как часть процесса. Вот как это выглядит на практике.

Skill-creator придумывает два или больше реалистичных запросов, с которыми кто-то мог бы обратиться к вашему skill. Для каждого запроса он создаёт пару результатов:

• один, в котором Claude использует ваш skill;
• другой, в котором Claude отвечает на тот же запрос без вашего skill.

Второй результат служит точкой сравнения. Он нужен, чтобы вы видели рядом, какую разницу на самом деле даёт ваш skill: не просто «нормальный ли это результат», а «лучше ли он того, что Claude сделал бы сам».

Просмотрите каждую пару и напишите отзыв обычным…

План урока

1. Почему это важно
2. Как устроена система evals
3. Доработайте skill
4. Попробуйте сейчас
5. Что дальше