Проверка навыков для плагинов

Ориентировочное время: 8 минут

Цели обучения

К концу этого урока вы сможете:

Объяснить, что такое eval и почему он важен, прежде чем делиться навыком или полагаться на него

Прогонять лёгкий eval через skill-creator

Почему это важно

Когда вы строите навык или упаковываете их в плагин, вы по сути строите небольшой продукт, которым будут пользоваться другие люди. И как всё, что вы передаёте коллеге — шаблон, модель таблицы, чек-лист, — это стоит опробовать, прежде чем оно уйдёт с вашего стола.

Когда вы используете навык, который построили, вы знаете, как обходить любые проблемы или сбои. Вы точно знаете, что у него спросить, какие файлы дать и как должен выглядеть ответ. У коллеги ничего этого нет. Он может сформулировать запрос чуть иначе, передать чуть другие входы или попасть в edge case — необычную, но реальную ситуацию, вроде запроса чуть вне того, под что навык проектировался. Именно там навыки склонны спотыкаться, и использующий человек не поймёт почему.

Тестирование навыка с помощью evals — сокращённо от evaluations — это способ поймать эти спотыкания до кого-то другого. Пусть слово вас не пугает. Eval — это просто проба: реалистичный запрос входит, вы смотрите, что выходит, и говорите Claude, что исправить. Никакого кода, никаких тестовых скриптов — только ваше суждение о том, достаточно ли хорош результат, чтобы поставить на него своё имя.

Как работает система eval

Когда вы строите навык с помощью skill-creator — встроенного помощника Claude для создания навыков, — он проводит вас через evals как часть процесса. Вот как это реально выглядит.

Skill-creator придумывает два или более реалистичных промпта, которые кто-то мог бы использовать с вашим навыком. Для каждого промпта он создаёт пару выводов:

Один, где Claude использует ваш навык

Один, где Claude отвечает на тот же промпт без вашего навыка

Второй — точка сравнения. Он там, чтобы вы могли видеть рядом, что реально меняет ваш навык, — не просто «этот вывод ок?», а «этот вывод лучше того, что Claude сделал бы сам?»

Проверьте каждую пару и дайте отзыв простым языком — прямо на странице проверки. Читая каждую пару, вы по сути отвечаете на два вопроса:

Версия с навыком — та, которую я бы использовал? Если да, отлично — отметьте, что сделало её лучше, чтобы навык продолжал это делать.

Если нет, чего не хватает или что не так? Будьте конкретны. «Тон слишком формальный» или «пропустил executive summary» даёт Claude что-то для действия; «это не совсем то» — не даёт.

Когда вы отправляете фидбек, Claude пересматривает навык за вас исходя из сказанного.

Итерируйтесь над навыком

Ваш фидбек — это исправление. Когда вы его отправляете, Claude обновляет навык — переписывает инструкции, корректирует примеры, затягивает то, что он просит, — и вы можете прогнать те же промпты снова, чтобы увидеть, прижилось ли изменение.

Меняйте по одной вещи за раз. Если первый раунд показал, что навык слишком многословен и пропускает раздел, выберите то, что важнее, исправьте, перепрогоните, затем вернитесь для ещё одной проверки. Вы сможете сказать, что реально сдвинуло иглу. Если выводы всё ещё не радуют после ревизии, прогоните снова — это цикл, а не одноразовый шлюз. Большинство навыков готовы после одного-двух раундов. Планка для отгрузки навыка — себе, коллеге — не идеальные evals. Это то, что кейсы, которые вам важны, проходят заметно лучше базового варианта, и что вы назвали кейсы, которые пока не покрываете.

А если выводы уже отлично выглядят на первом проходе? Вы закончили. Оценки — не формальность, через который нужно прыгать, — они там для случаев, когда нужна уверенность, а не церемония.

Попробуйте сейчас

Пройдите пробное eval-ревью ниже — три промпта, каждый с выводом с навыком и без навыка рядом.

Прочитайте eval

Eval — это просто два вывода рядом с несколькими правилами того, как выглядит «хорошо». Ваша работа — выбрать тот, который вы реально отправили бы, — и сказать Claude, что изменить.

1 из 3

Типичный кейс

Резюме обычного командного синка

Промпт

Напишите резюме сегодняшнего продуктового синка. Заметки в notes/2026-05-01-product-sync.md.

С навыком

4/4

Product sync — recap

Decisions

Ship the new onboarding flow to 10% of new sign-ups starting Monday.

Pause the in-app tour redesign until after launch.

Action items

Maya — finalize the rollout plan by Fri May 9.

Devon — instrument the new flow for activation rate by Wed May 7.

Priya — draft the announcement post by Mon May 12.

Open questions

Do we need legal sign-off on the new copy before 10%?

Домашние правила

Начинается с решений

У каждого action item есть владелец и дата

Открытые вопросы выделены

Меньше 150 слов

Без навыка

1/4

Product sync recap

The team had a productive discussion about the new onboarding flow this morning. After reviewing the latest mockups, the group decided to move ahead with a 10% rollout starting next Monday. The in-app tour redesign came up but the consensus was to revisit it after launch.

Maya offered to finalize the rollout plan and Devon mentioned he'd look at the instrumentation. Priya is going to draft something for the announcement. There was also some back and forth about whether legal needs to weigh in on the new copy — the team didn't reach a conclusion on that.

Overall a productive meeting with clear next steps.

Домашние правила

Начинается с решений — нет

У каждого action item есть владелец и дата — нет

Открытые вопросы выделены — нет

Меньше 150 слов — да

Какой бы вы отправили?

Я бы отправил этот

Одна вещь, которую вы сказали бы Claude изменить

Грязный вход

Резюме стендапа по грубым, частично вставленным заметкам

Промпт

Подведи итог маркетингового стендапа — заметки довольно грубые, половина — просто вставленные сообщения Slack.

С навыком

3/4

Marketing stand-up — recap

Decisions

Move the webinar from May 14 to May 21 to avoid the customer-conference overlap.

Action items

Jordan — update the registration page and re-send invites by Mon May 5.

(owner unclear — confirm with Priya?) — rework the email cadence around the new date by Wed May 7.

Open questions

Do we need to notify partners who promoted the original date?

Who's on point for the rescheduled day-of logistics?

Домашние правила

Начинается с решений — да

У каждого action item есть владелец и дата (или помечено) — да

Открытые вопросы выделены — да

Меньше 150 слов (164) — нет

Без навыка

2/4

Marketing stand-up

The team agreed to push the webinar from May 14 to May 21 because the customer conference is the same week. Jordan will update the landing page and re-send invites.

Priya will rework the email cadence around the new date. The team also discussed how to handle the partners who already promoted the original date and the day-of logistics for the new date.

Good progress — everyone's aligned on the move.

Домашние правила

Начинается с решений — да

У каждого action item есть владелец и дата (придумал владельца) — нет

Открытые вопросы выделены (зарыты в прозе) — нет

Меньше 150 слов — да

Какой бы вы отправили?

Я бы отправил этот

Одна вещь, которую вы сказали бы Claude изменить

Стиль против содержания

Резюме для руководителя, который читает только первые три строки

Промпт

Резюме для проверки с руководством — держите кратко, они читают только первые три строки.

С навыком

3/4

Exec check-in — recap

Decisions

Move the launch from May 28 to June 12 to absorb the QA delay.

Hold the customer-comms plan until the new date is locked.

Action items

Sam — circulate the revised launch plan by Mon May 5.

Open questions

Does the new date affect the Q2 number we committed to?

Домашние правила

Начинается с решений — да

У каждого action item есть владелец и дата — да

Открытые вопросы выделены — да

Заголовок в первых трёх строках (дата уехала на строку 5) — нет

Без навыка

3/4

Exec check-in

Launch moved to June 12 — QA needs another two weeks for the new auth flow, and shipping on May 28 would land us with a partial release.

Customer comms are on hold until the date is locked. Sam will circulate the revised plan by Monday May 5.

Open: does the new date affect the Q2 commit? — flagged for finance to confirm.

Домашние правила

Начинается с решений — да

У каждого action item есть владелец и дата — да

Открытые вопросы выделены (зарыты в прозе) — нет

Заголовок в первых трёх строках — да

Какой бы вы отправили?

Я бы отправил этот

Одна вещь, которую вы сказали бы Claude изменить

Это полный раунд eval. Когда это ваш навык, Claude берёт ваши выборы и отзыв и пересматривает навык за вас.

Для каждой пары: выберите версию, которую реально отправили бы, и напишите одну строку фидбека, который дали бы Claude. Это весь цикл.

Что дальше

В следующем уроке вы перейдёте от «это работает для меня» к «это работает для команды» — паттерны и выборы, превращающие личные процессы в общую инфраструктуру.

Обратная связь

По мере прохождения курса нам будет приятно услышать, как вы используете концепции из него в своей работе, а также любые ваши отзывы. Поделитесь отзывом здесь.

Благодарности и лицензия