О чём урок
Оценки в продакшене: CI, пакетная обработка и дрейф
У eval есть работа и после запуска. На каждый pull request он отлавливает изменение промпта, которое ломает отдельные кейсы, прежде чем клиент получит неверный ответ. Он также оценивает живой трафик, чтобы поймать дрейф: медленное падение точности по мере того, как реальные входные данные меняются.
Демонстрация в этом видео была записана в августе 2026 года. Она выполнялась на Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5. На более новых моделях результаты будут отличаться. Демонстрация каждого урока — это отдельный запуск eval, поэтому его оценки и стоимость не совпадают с теми, что приведены в других уроках.
Ваш eval продолжает работать и после запуска, потому что меняются сразу две вещи. Ваша команда будет править промпт, а любая правка может сломать ответы, которые раньше были верными. Меняются и реальные входные данные: в какой-то момент они перестают быть похожими на те, на которых вы тестировали. Поэтому eval запускается на каждую правку до выката и на живой трафик после него.
В этом уроке мы следим за Meridian, вымышленной инженерной консалтинговой компанией, чей промпт читает ежемесячный отчёт по проекту и возвращает три поля: ID проекта, статус графика и главный риск. В eval у Meridian 50 кейсов. Каждый кейс — это отчёт и ожидаемый для него ответ, а все 50 вместе составляют полный набор.
Эти четыре шага поддерживают работу eval у Meridian после запуска:
- Запускать несколько кейсов на каждый pull request.
- Не пускать pull request в слияние, пока он не пройдёт проверку.
- Запускать полный набор одним пакетом.
- Каждую ночь оценивать выборку живого трафика.
Добавьте в CI (continuous integration, непрерывная интеграция) workflow и запускайте его на каждый pull request. Этот workflow выполняет smoke eval: он берёт столько кейсов из полного набора, чтобы завершиться, пока вы ждёте. Его оценка определяет, пройдёт или не пройдёт проверка на pull request.
Порог — это минимальная…
План урока
- Запускайте несколько кейсов на каждый pull request
- Не пускайте pull request в слияние, пока он не пройдёт проверку
- Запускайте полный набор одним пакетом
- Каждую ночь оценивайте выборку живого трафика
- Итоги
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.