Оценка качества промптов на русском — курс Anthropic Academy

Курс из программы Anthropic Academy (Антропик) на русском языке. Первые 3 урока бесплатно, без VPN.

Официальный курс Anthropic в переводе на русский язык, для продвинутых. Открывается без VPN: все уроки, видео и субтитры уже переведены и лежат на нашей платформе. 9 уроков, первые 3 бесплатно, дальше разовая оплата без подписки.

Уровень: Продвинутый. Длительность: около 45 минут. Формат: текст с примерами.

Коротко о курсе

• Стоимость: первые 3 урока бесплатно, весь курс в доступе к курсам Anthropic за 1490 руб или во всех курсах платформы за 4900 руб, разово, без подписки
• Объём: 9 уроков, около 45 минут
• Формат: онлайн в своём темпе, текстовые уроки с примерами
• Старт: сразу, без расписания и без VPN
• Документ: именной сертификат AI University с номером и QR-кодом

Начать бесплатно: урок 1

Уроки курса

Первые 3 урока доступны бесплатно. Для продолжения потребуется доступ к платформе. Субтитры на русском и английском языках.

1. 01.Оценка промптов: основыБесплатно~5 мин
2. 02.Оценка промптов в Anthropic WorkbenchБесплатно~5 мин
3. 03.Простая автоматическая проверка кодомБесплатно~5 мин
4. 04.Проверка кодом на задаче классификации~5 мин
5. 05.Знакомство с promptfoo~5 мин
6. 06.Promptfoo: оцениваем классификацию~5 мин
7. 07.Promptfoo: свои проверки на коде~5 мин
8. 08.Promptfoo: оценка с помощью модели~5 мин
9. 09.Своя оценка с помощью модели~5 мин

О курсе

«Оценка качества промптов» адресована тем, кто уже использует Claude в продукте или внутреннем инструменте и хочет понимать, стал ли промпт лучше после очередной правки. Обычно такие решения принимаются на глаз: прочитали пару ответов и решили, что стало хорошо. Курс учит заменять это впечатление измерениями. Уровень продвинутый, в программе девять текстовых уроков примерно на 45 минут. Это официальный курс Anthropic на русском языке, он открывается без VPN, первые три урока можно пройти бесплатно.

Начинается программа с основ: зачем вообще измерять качество ответов и как устроен процесс оценки промпта. Затем показано, как проводить оценки в Anthropic Workbench, не выходя из привычного интерфейса. Следующий блок посвящён автоматической проверке кодом. Сначала это простая проверка, где ответ модели сравнивается с ожидаемым, а затем задача классификации, на которой хорошо видно, как считать долю правильных ответов и находить повторяющиеся ошибки. Эти примеры намеренно простые: на них легче всего понять саму логику оценки, прежде чем переходить к более гибким инструментам и сложным критериям. Код из уроков можно взять за основу для собственных тестов.

Большая часть курса построена вокруг promptfoo, инструмента для регулярного тестирования промптов. Вы познакомитесь с его устройством, оцените с его помощью классификацию, напишете собственные проверки на коде и настроите оценку с помощью модели, когда одна модель выставляет баллы ответам другой по заданным критериям. Такой подход нужен там, где правильный ответ не сводится к точному совпадению: для свободных текстов, кратких изложений, ответов поддержки. Завершает курс урок о собственной оценке с помощью модели без готового инструмента, чтобы вы понимали, как этот механизм работает изнутри.

После курса вы сможете строить оценки четырёх типов: проверки кодом, оценку классификации, собственные проверки и оценку моделью. Вы научитесь использовать Anthropic Workbench и promptfoo для регулярных прогонов, сравнивать версии промптов по цифрам, а не по ощущениям, и замечать, когда изменение улучшает один сценарий, но ломает другой. Этот курс по оценке промптов логично проходить после базовых материалов по промпт-инжинирингу, когда вы уже пишете промпты и хотите поставить работу с ними на системную основу.

Вопросы о курсе

Полезные гиды

• Курс промпт-инжиниринга: обучение по официальной программе Anthropic
• Что такое промпт и как написать хороший промпт