Урок из полного доступа, первые уроки курса бесплатно Официальный курс Anthropic Academy на русском
Урок 05 · Текст · ~5 мин

Итоговый тест: Введение в эвалы: как выбрать модель Claude по цифрам

Урок 5 из 5 курса «Введение в эвалы: как выбрать модель Claude по цифрам»: официальный курс Anthropic Academy (Антропик) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Проверьте, как вы усвоили материал курса. Выберите вариант и откройте ответ под вопросом.

1. В уроке «Когда использовать какую модель» порог точности Meridian равен 90%. Почему выбрано именно это число?

  1. Неверный ответ означает ручную проверку на 5 минут, инженеры могут вытянуть 5 таких проверок в месяц, а 5 из 50 это 10%
  2. Anthropic рекомендует порог 90% для любой задачи извлечения данных
  3. Haiku 4.5 набрала 84%, поэтому порог поставили чуть выше
  4. Самая дешёвая модель должна пройти 90%, прежде чем проверять остальные

Ответ: A. В уроке «Когда использовать какую модель» порог выводится из цены ошибки: каждый неверный ответ требует около 5 минут ручной проверки, инженеры могут вытянуть 5 проверок в месяц, а 5 из 50 отчётов это 10%, значит порог 90%.

2. В первом сравнении у Haiku 4.5 была самая низкая стоимость выполненной задачи ($0.0009), но Meridian выбрала Sonnet 5. Почему?

  1. У Sonnet 5 более новый токенизатор, из-за чего она всегда дешевле
  2. Haiku 4.5 не прошла порог 90%, поэтому не была кандидатом
  3. Opus 5 оказалась слишком дорогой, а Sonnet 5 была единственной другой моделью
  4. Стоимость выполненной задачи Haiku 4.5 посчитали по ценам batch

Ответ: B. Согласно уроку «Когда использовать какую модель», порог определяет, какие модели вообще кандидаты, а Haiku 4.5 набрала 84%, что ниже 90%. Среди прошедших порог побеждает самая низкая стоимость выполненной задачи, то есть Sonnet 5 за $0.0020.

3. В уроке «Создайте минимально жизнеспособную систему оценки (eval)»: какой грейдер Meridian должна использовать для поля schedule_status и почему?

  1. LLM-судью, потому что статус можно сформулировать по-разному
  2. Человека, потому что статус графика зависит от суждения
  3. Код с точным совпадением, потому что поле может принимать только on_track, at_risk или delayed
  4. LLM-судью, потому что он быстрее кода для коротких значений

Ответ: C. Урок «Создайте минимально жизнеспособную систему оценки (eval)» говорит использовать код для каждого поля…

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Anthropic 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Anthropic (35 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 79 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды