Бесплатный урок Официальный курс Anthropic Academy на русском
Урок 01 · Видео · 5 мин

Когда использовать какую модель

Урок 1 из 5 курса «Введение в эвалы: как выбрать модель Claude по цифрам»: официальный курс Anthropic Academy (Антропик) на русском языке. Этот урок бесплатный.

Урок 01 Когда использовать какую модель

Видео открывается после входа через Telegram. Текст урока доступен без входа.

Войти через Telegram
00:00 / 00:00

Субтитры: RU / EN, переключайте кнопкой CC

Когда использовать какую модель

Модели Claude различаются по возможностям, скорости и стоимости, и вам не нужно гадать, какая из них подходит для вашей задачи: это можно измерить. Этот урок показывает, как это сделать, на примере Meridian, вымышленной инженерной консалтинговой компании, которая с помощью одного промпта извлекает три поля из 50 отчётов по проектам.

Демонстрация в этом видео записана в августе 2026 года. Она выполнялась на Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5. На более новых моделях результаты будут отличаться. Демонстрация в каждом уроке — это отдельный запуск eval, поэтому её оценки и стоимость не совпадут с теми, что приведены в других уроках.

Выбирая модель Claude для задачи, вы, вероятно, полагаетесь на интуицию или на слова коллеги. Модели Claude действительно различаются по возможностям, скорости и стоимости, но ни одно опубликованное сравнение не видело именно ваш промпт, поэтому ни одно из них не скажет, как модель справится с вашей задачей. Выбирать нужно так: измерьте, как часто каждая модель правильно решает вашу задачу, и только после этого смотрите на стоимость каждой из них.

Это очень похоже на покупку лестницы, чтобы дотянуться до верха стены. Прежде чем смотреть на цены, вы выясняете, какой высоты стена, ведь слишком короткая лестница бесполезна по любой цене. Угадыванием не узнать, какие лестницы достают, поэтому вы их измеряете, а из тех, что достают, покупаете самую дешёвую. Для более высокой стены нужна более длинная лестница, и именно её стоит купить, даже если она дороже.

С моделями такое измерение выполняет eval — набор кейсов, на которых вы запускаете каждую модель. Каждый кейс состоит из одного входного примера, который увидит ваш промпт, и ожидаемого ответа; этот ответ человек пишет по входным данным до запуска любой модели. После этого каждый запуск получает оценку по числу кейсов, которые модель решила правильно.

В этом уроке мы следим за Meridian. Каждый месяц компания получает 50 отчётов по проектам в формате Markdown, и один промпт извлекает из каждого три поля: ID проекта, статус графика работ и главный риск. Её кейсы — это 50 отчётов за один месяц, а чего компания пока не знает, так это какая модель должна выполнять этот промпт.

Meridian решает эту задачу за пять шагов, которые вы можете повторить со своим промптом:

  1. Определите, насколько точной должна быть модель
  2. Оцените каждую модель на одних и тех же кейсах
  3. Рассчитайте стоимость одного вызова
  4. Сравните модели по стоимости каждой выполненной задачи
  5. Выберите модель с нужной вам точностью и минимальной стоимостью

Определите, насколько точной должна быть модель

Это высота стены, и её нужно определить до того, как вы посмотрите на чьи-либо цены. Ваш порог точности — это доля кейсов, которые модель должна решить правильно, чтобы вы согласились её использовать. Чтобы задать порог, определите, во что вам обходится один неправильный ответ: чем он дороже, тем выше должен быть порог.

Для Meridian неправильный ответ означает, что кто-то должен вручную проверить этот отчёт, а это занимает около 5 минут. Инженеры компании могут позволить себе 5 таких проверок в месяц, а поскольку 5 из 50 — это 10%, порог Meridian составляет 90%.

Другая задача может поднять порог гораздо выше. Допустим, один неправильный ответ стоит $1000, например потому, что он попал к клиенту. Тогда порог становится равным 100%, а стоимость модели почти не имеет значения.

Оцените каждую модель на одних и тех же кейсах

Пока вы не измерили модели относительно порога, он остаётся просто числом. Запускайте каждую модель на одних и тех же кейсах с одним и тем же промптом, чтобы от запуска к запуску менялась только модель. Meridian прогнала свои 50 отчётов через один промпт на трёх моделях: Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5.

Скрипт Meridian проверяет каждое поле по ожидаемому ответу. ID проекта и статус графика должны совпадать точно, а главный риск — это предложение, поэтому скрипт сравнивает его менее строго и допускает небольшие различия в формулировке. Каждый кейс — это одна задача, то есть для Meridian один отчёт, из которого нужно извлечь три поля. Модель выполняет задачу, только если правильно указала все три поля.

Из 50 кейсов 30 — типовые отчёты, 10 охватывают сразу несколько проектов, а в 10 нет раздела о рисках. В таблице оценка каждой модели разбита по этим трём видам.

МодельТиповыеНесколько проектовНет рисковИтого
Haiku 4.590%100%50%84%
Sonnet 5100%100%100%100%
Opus 5100%100%100%100%

Доля кейсов, которые каждая модель решила правильно, по видам отчётов, с одним и тем же промптом и порогом 90%

Sonnet 5 и Opus 5 правильно решили все 50 кейсов. Haiku 4.5 решила 42 из 50, то есть 84%, поэтому в этой задаче и с этим промптом она не проходит порог.

Рассчитайте стоимость одного вызова

Теперь, когда две модели преодолели порог, в игру вступает стоимость. Вы платите за токены — фрагменты текста, которые обрабатывают модели, а каждый ответ Messages API содержит блок usage с точным числом токенов, за которые вам выставляется счёт. Пример ниже — иллюстрация: вызов Sonnet 5 примерно такого же размера, как у Meridian, с 780 входными и 41 выходным токеном.

json
"usage": {
  "input_tokens": 780,
  "output_tokens": 41
}

Берите эти значения из usage для каждой модели, а не оценивайте их по своему тексту. Токенизатор модели — это часть, которая разбивает текст на токены, и не все модели используют один и тот же. Поэтому один и тот же текст может давать разное число токенов на разных моделях. Sonnet 5 и Opus 5 используют более новый токенизатор, который создаёт примерно на 30% больше токенов для того же текста, а Haiku 4.5 использует предыдущий.

У входных и выходных токенов отдельные тарифы, каждый указан за миллион токенов. В таблице приведены тарифы трёх моделей по состоянию на август 2026 года, когда Meridian проводила eval, а актуальные тарифы вы найдёте на странице цен Claude.

МодельВходВыход
Haiku 4.5$1$5
Sonnet 5$2$10
Opus 5$5$25

Тариф каждой модели за миллион входных и выходных токенов по состоянию на август 2026 года

Стоимость вызова — это число входных токенов, умноженное на входной тариф, плюс число выходных токенов, умноженное на выходной тариф. В примере используется вызов Sonnet 5, поэтому берутся тарифы Sonnet 5 из этой таблицы.

text
780 input tokens  × $2 per million  = $0.0016
 41 output tokens × $10 per million = $0.0004
                              total = $0.0020

Сравните модели по стоимости каждой выполненной задачи

Сложите стоимость всех вызовов в одном запуске, и получится стоимость запуска. Разделите стоимость запуска на число задач, которые выполнила модель, и вы получите стоимость выполненной задачи — именно по этому показателю сравнивают модели.

Делить нужно на выполненные задачи, а не на вызовы. Дело в том, что оплачивается каждый вызов, даже тот, в котором модель ошиблась. Поэтому неправильные ответы модели увеличивают стоимость каждой задачи, которую эта же модель выполнила.

МодельВыполненоСтоимость запускаСтоимость выполненной задачи
Haiku 4.542 из 50$0.0380$0.0009
Sonnet 550 из 50$0.0984$0.0020
Opus 550 из 50$0.2323$0.0046

Стоимость запуска и стоимость выполненной задачи для 50 кейсов по тарифам на август 2026 года

Выберите модель с нужной вам точностью и минимальной стоимостью

Ваш порог определяет, какие модели считаются кандидатами, а из них вы выбираете ту, у которой стоимость выполненной задачи ниже всего. Sonnet 5 и Opus 5 набрали по 50 из 50 при стоимости $0.0020 и $0.0046 за выполненную задачу, поэтому для этой задачи Meridian выбирает Sonnet 5. Показатель Haiku 4.5, $0.0009, — самый низкий в таблице, но эта модель не кандидат, потому что не проходит порог.

Для более сложной задачи самой мощной модели может оказаться единственной, которая проходит порог, и тогда именно она — правильный выбор. Кроме того, каждый результат привязан к промпту и кейсам, которые использовались в eval. Если вы измените промпт или кейсы, правильная модель тоже может измениться, поэтому запускайте eval заново всякий раз, когда меняете что-то из этого.

Этот eval не измеряет задержку. Если ваши пользователи ждут ответов, замерьте время ответов на своих кейсах так же, как вы оценивали точность здесь.

Снизьте стоимость запуска eval

Эти пять шагов дают вам модель, но есть ещё один способ снизить стоимость самого eval. Никто не ждёт ответов eval, поэтому вы можете отправить его через Batch API, который обрабатывает запросы асинхронно. Batch API запускает те же модели с 50-процентной скидкой на входные и выходные токены.

Сравнивая модели, не смешивайте в одном сравнении тарифы batch и стандартные тарифы. Рассчитывайте стоимость каждой модели либо по тарифам batch, либо по стандартным тарифам.

Итог

  1. Сначала задайте порог точности, исходя из того, во что вам обошёлся бы неправильный ответ.
  2. Дайте каждой модели одни и те же кейсы и исключите любую модель, которая не проходит порог.
  3. Берите стоимость каждого вызова из его блока usage, затем разделите стоимость запуска на число задач, которые выполнила модель.
  4. Из кандидатов, прошедших порог, выберите ту, у которой стоимость выполненной задачи ниже всего.

Полезные гиды