Создание минимально жизнеспособной оценки (eval)
Спросите пятерых инженеров, какая модель Claude лучше справляется с задачей, и вы получите пять разных мнений. Eval дает вместо этого число, причем полезная оценка может начинаться с малого. В этом уроке мы построим небольшую оценку для Meridian, вымышленной инженерной консалтинговой компании.
Демонстрация в этом видео записана в августе 2026 года. В ней использовались Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5. На более новых моделях результаты будут другими. Демонстрация в каждом уроке — это отдельный запуск оценки, поэтому ее результаты и стоимость не совпадут с теми, что приведены в других уроках.
Eval — это тест, который проходят модели. Он состоит из трех частей: реалистичные входные данные, ожидаемый ответ для каждого из них и способ оценить то, что вернула каждая модель. Каждая модель выполняет ваш промпт на каждом входе. Входные данные вместе с ожидаемым ответом образуют кейс, а оценка всех кейсов дает итоговый балл.
Промпт Meridian для извлечения данных достает три поля из каждого ежемесячного отчета по проекту: идентификатор проекта и статус графика, которые представляют собой короткие значения, а также главный риск, который представляет собой предложение.
Создание eval похоже на проведение экзамена, где вы — преподаватель, а модели — студенты.
| Экзамен | Eval |
|---|---|
| Преподаватель составляет экзамен и ключ с ответами до того, как кто-либо начнет его сдавать. | Вы пишете ожидаемые ответы до запуска любой модели. |
| Машина проверяет раздел с вопросами с вариантами ответов по ключу. | Код сравнивает поле с ожидаемым ответом. |
| Эссе передается ассистенту преподавателя вместе с инструкцией по оцениванию. | Предложение передается LLM-судье вместе с рубрикой. |
| Преподаватель сам проверяет несколько эссе, прежде чем доверить ассистенту остальные. | Вы вручную оцениваете выборку. |
LLM-судья — это вторая модель, которая проверяет ответ и решает, верен ли он. Все, что оценивает ответ, называется грейдером (grader), будь то код, модель или человек. Оценку для Meridian вы построите за шесть шагов:
- Выберите грейдер для каждого поля
- Спроектируйте набор кейсов
- Запишите ожидаемые ответы
- Настройте LLM-судью для главного риска
- Запустите модели и оцените их ответы
- Прежде чем доверять судье, вручную оцените выборку
Выберите грейдер для каждого поля
Есть три способа оценить ответ. Правило такое: выбирайте самый быстрый метод, который при этом надежен и масштабируется.
- Оценка кодом. Ваш код проверяет, что ответ в точности совпадает с ожидаемым или содержит ключевую фразу. Это самый быстрый и надежный способ, и он масштабируется на любое число кейсов.
- LLM-судья. Судья подходит для ответов, где верными могут быть два разных предложения. Он тоже быстрый, гибкий и масштабируемый.
- Оценка человеком. Человек читает каждый ответ. Это дает наилучшее качество, но медленно и дорого, поэтому такой способ идет последним. Люди по-прежнему лучшие грейдеры для специализированных задач с высокими ставками и для ответов, которые сводятся к суждению.
Используйте код для каждого поля, которое он может проверить точно, а судье отдавайте только то, что осталось. Вот как это выглядит для трех полей Meridian на примере одного из кейсов, отчета r032.
| Поле | Ожидаемый ответ в r032 | Грейдер и почему |
|---|---|---|
project_id | MER-2524 | Код, с точным совпадением, потому что идентификатор либо верный, либо нет |
schedule_status | delayed | Код, с точным совпадением, потому что поле может принимать только значения on_track, at_risk или delayed |
top_risk | Utility relocation by the gas company is running four weeks behind their committed schedule. | Судья, потому что один и тот же риск можно сформулировать множеством способов |
Однако если в отчете не назван ни один риск, ожидаемым ответом для top_risk будет null, пустое значение в JSON. Код может проверить это точным совпадением.
Спроектируйте набор кейсов
Весь набор кейсов определяют четыре правила. Они опираются на принципы проектирования eval из документации.
- Делайте кейсы специфичными для задачи. Стройте их на своих реальных отчетах, потому что примерные данные показывают лишь то, как модель справляется с примерами.
- Автоматизируйте оценку. Вы будете запускать набор снова и снова, поэтому повседневная оценка должна работать без участия человека.
- Отдавайте предпочтение объему, а не отточенности. При тех же усилиях много автоматически оцененных кейсов скажет вам больше, чем несколько кейсов, тщательно оцененных вручную.
- Стратифицируйте пограничные случаи. Пограничный случай (edge case) — это необычные входные данные, которые все же поступают в продакшене, например отсканированный отчет. Дайте каждому виду примерно ту же долю кейсов, какую он занимает в продакшене: если сканы составляют 5% поступающих отчетов, пусть они составляют около 5% набора.
Прежде всего, набор кейсов должен выглядеть так же, как то, что присылает вам продакшен. Команды часто понимают под объемом сотни кейсов, но набор из 20-50 простых кейсов — отличное начало.
Meridian остановился на 50 кейсах. Тридцать из них — типичные отчеты, 10 охватывают несколько проектов, а еще 10 — кейсы без риска, то есть отчеты без раздела о рисках. Оба необычных вида встречаются у Meridian достаточно часто, поэтому компания хочет их охватить.
Запишите ожидаемые ответы
Кейсы, ожидаемые ответы для которых записал человек, образуют размеченный набор (labeled set). Напишите каждый ожидаемый ответ сами, по отчету, до запуска любой модели. Код-грейдер сравнивает с ними ответы моделей.
Meridian хранит свой размеченный набор в одном файле, golden.json, по одной записи на каждый кейс. Запись содержит id кейса, его category и ожидаемый ответ для каждого поля. Значение category — это typical, multi_project или missing_risk.
Настройте LLM-судью для главного риска
Поле top_risk содержит предложение. Код не может определить, называют ли два разных предложения один и тот же риск, поэтому это поле передается судье. Это эссе, и, как и ассистенту преподавателя, судье нужна инструкция по оцениванию.
Такая инструкция — это рубрика, письменный набор правил о том, что считается верным, а что неверным. Она должна быть подробной и четкой.
Промпт судьи содержит отчет, ответ и рубрику. Каждый элемент помещается в собственные XML-теги, так что судья с меньшей вероятностью их перепутает. Вашего ожидаемого ответа в промпте нет, потому что судья принимает решение по самому отчету. Так ответ не теряет баллы только из-за того, что формулирует риск иначе, чем вы. Тем не менее сохраните свой ожидаемый ответ: это ваша запись верного ответа, когда вы оцениваете выборку вручную.
Решение судьи по одному ответу называется вердиктом (verdict). Вердикт полезен, только если он возвращается в форме, которую ваш код может подсчитать. Это обеспечивают структурированные выходные данные (structured outputs). Вместе с запросом вы отправляете JSON-схему, и ответ обязан ей соответствовать. JSON-схема описывает, какие поля может содержать JSON и что может находиться в каждом из них.
В схеме Meridian два поля: explanation и verdict. Вердикт должен быть correct, incorrect или unknown. Пояснение — это краткий рассказ о том, почему судья принял именно такое решение, поэтому его стоит читать, когда хочется понять, что пошло не так с ответом.
Важнее всего значение unknown. Оно дает судье путь к отступлению: возможность сказать, что он не может определить. Без него судье приходится гадать между двумя другими вариантами всякий раз, когда он не уверен.
Запустите модели и оцените их ответы
Прежде чем что-то оценивать, нужны ответы. Запустите ваш промпт на каждом кейсе с каждой тестируемой моделью и сохраните каждый ответ в файл. Meridian запустил свой промпт для извлечения данных на всех 50 кейсах с Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5.
Проверьте судью один раз на кейсах, которые код тоже может оценить, чтобы увидеть, согласны ли два грейдера. Первый запуск судьи у Meridian охватил только 10 кейсов без риска, что дало 30 ответов от трех моделей. Ожидаемый ответ для них — null, поэтому код тоже мог их оценить. Сохраняйте каждый вердикт рядом с его ответом, чтобы позже можно было проверить судью вручную.
| Модель | Верно | Неверно | Неизвестно | Совпадает с код-грейдером |
|---|---|---|---|---|
| Haiku 4.5 | 5 | 5 | 0 | 10/10 |
| Sonnet 5 | 10 | 0 | 0 | 10/10 |
| Opus 5 | 10 | 0 | 0 | 10/10 |
Первый запуск судьи на 10 кейсах без риска, где код тоже мог выставить оценку.
Для отчетов без раздела о рисках у Meridian теперь есть число для каждой модели там, где раньше были лишь мнения.
Все пять неверных ответов Haiku 4.5 — это ошибки одного и того же рода, и кейс r045 показывает одну из них.
| В кейсе r045 | Текст |
|---|---|
| Что отчет говорит о продлении окружного разрешения | "the team does not anticipate any issues with the renewal." |
| Ответ Haiku 4.5 | "County permit renewal window opens next quarter and could impact project continuity if not completed timely." |
| Пояснение судьи | "The answer converts this explicitly-reassuring routine note into a top risk, which the rubric says is incorrect. The correct answer would have been null." |
Пояснение судьи называет тип ошибки, которую допустил ответ. Эта ошибка идет от промпта для извлечения данных, в котором нигде не сказано, что делать, если в отчете не назван ни один риск.
Прежде чем доверять судье, вручную оцените выборку
Судья согласился с кодом по всем 30 ответам, но код мог проверить их и сам. Настоящая задача судьи — оценивать свободный текст, где код не поможет. Прежде чем поручить ему эту работу, проверьте, что он надежен. Помогут две практики.
- Проверьте выборку самостоятельно. Вручную оцените несколько сохранённых ответов и сравните свои оценки с вердиктами судьи, ведь судья должен хорошо согласовываться с экспертами-людьми. Если ваши оценки и вердикты судьи расходятся, сформулируйте рубрику яснее и запустите проверку снова.
- Используйте судью, который не писал ответы. Как правило, лучше оценивать ответы другой моделью, а не той, что их написала.
Главное
- Проверяйте кодом там, где подходит точное сравнение, судьёй там, где верны могут быть два разных предложения, и людьми там, где всё упирается в суждение.
- Записывайте ожидаемые ответы до запуска любых моделей и собирайте набор кейсов, похожий на реальные данные из продакшена.
- Дайте судье рубрику, схему, которой должен соответствовать его вердикт, и возможность ответить
unknown. - Прежде чем доверять судье, вручную проверьте выборку его оценок.