Постоянные evals в CI

О чём урок

Evals — это эквивалент поэтапного контроля качества, изначально присущий ИИ. На практике это означает набор тестов, который запускается при каждом изменении конфигурации агента. Когда внедряется новая модель или переписывается prompt, набор evals определяет, выполняет ли агент работу по-прежнему в соответствии с заданным стандартом. Evals следует рассматривать как динамический набор тестов. По мере совершенствования моделей случаи, которые ранее выявляли проблемы, перестают быть актуальными, и должны быть добавлены новые, возникающие в результате постоянного мониторинга. В зависимости от сценария использования, некоторые команды могут предпочесть запускать эти evals в автономном режиме с заданной периодичностью, а не при каждом изменении. Описанные ниже шаги предназначены для непрерывных evals. Предварительные условия: Файл CLAUDE.md и петля обратной связи (Этап 4: Тестирование). Инфраструктура: CI, способный запускать Claude Code в неинтерактивном режиме, и ключ API с бюджетом для запусков evals. Инженер платформы собирает от 20 до 50 реальных задач из недавней работы, каждая из которых имеет ожидаемый или принятый результат. Оформите каждую задачу как eval, то есть prompt плюс проверки, определяющие приемлемость (тесты пройдены, lint чист, поведение не изменилось, политика соблюдена). Набор тестов запускается неинтерактивно в CI по расписанию и при любом изменении CLAUDE.md, skills или hooks, поскольку эта конфигурация управляет агентом и заслуживает регрессионного тестирования, которое применяется к коду. Ограничьте изменения конфигурации на основе результатов. Изменение skill, которое снижает процент прохождения, подлежит проверке перед слиянием. Каждый производственный инцидент получает eval, написанный командой, ответственной за инцидент, и остается в наборе тестов как регрессионный тест. .github/workflows/agent-evals.yml: yaml Evals предоставляют контролю качества (QA) механизм контроля, который соответствует выходным данным агента. Порог процента прохождения применяется как проверка при слиянии, запуски логируются, чтобы результаты можно было сравнивать со временем, и команда, ответственная за изменение конфигурации, утверждает его.

План урока

1. Начало работы
2. Как это выполнить
3. Как это выглядит
4. Вопросы управления
5. Как это измерить