Урок из полного доступа, первые уроки курса бесплатно Официальный курс Anthropic Academy на русском
Урок 04 · Видео · 3 мин

Evals в production: CI, batch и drift

Урок 4 из 5 курса «Введение в эвалы: как выбрать модель Claude по цифрам»: официальный курс Anthropic Academy (Антропик) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Оценки в продакшене: CI, пакетная обработка и дрейф

У eval есть работа и после запуска. На каждый pull request он отлавливает изменение промпта, которое ломает отдельные кейсы, прежде чем клиент получит неверный ответ. Он также оценивает живой трафик, чтобы поймать дрейф: медленное падение точности по мере того, как реальные входные данные меняются.

Демонстрация в этом видео была записана в августе 2026 года. Она выполнялась на Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5. На более новых моделях результаты будут отличаться. Демонстрация каждого урока — это отдельный запуск eval, поэтому его оценки и стоимость не совпадают с теми, что приведены в других уроках.

Ваш eval продолжает работать и после запуска, потому что меняются сразу две вещи. Ваша команда будет править промпт, а любая правка может сломать ответы, которые раньше были верными. Меняются и реальные входные данные: в какой-то момент они перестают быть похожими на те, на которых вы тестировали. Поэтому eval запускается на каждую правку до выката и на живой трафик после него.

В этом уроке мы следим за Meridian, вымышленной инженерной консалтинговой компанией, чей промпт читает ежемесячный отчёт по проекту и возвращает три поля: ID проекта, статус графика и главный риск. В eval у Meridian 50 кейсов. Каждый кейс — это отчёт и ожидаемый для него ответ, а все 50 вместе составляют полный набор.

Эти четыре шага поддерживают работу eval у Meridian после запуска:

  1. Запускать несколько кейсов на каждый pull request.
  2. Не пускать pull request в слияние, пока он не пройдёт проверку.
  3. Запускать полный набор одним пакетом.
  4. Каждую ночь оценивать выборку живого трафика.

Добавьте в CI (continuous integration, непрерывная интеграция) workflow и запускайте его на каждый pull request. Этот workflow выполняет smoke eval: он берёт столько кейсов из полного набора, чтобы завершиться, пока вы ждёте. Его оценка определяет, пройдёт или не пройдёт проверка на pull request.

Порог — это минимальная…

План урока

  1. Запускайте несколько кейсов на каждый pull request
  2. Не пускайте pull request в слияние, пока он не пройдёт проверку
  3. Запускайте полный набор одним пакетом
  4. Каждую ночь оценивайте выборку живого трафика
  5. Итоги

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Anthropic 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Anthropic (35 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 79 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды