О чём урок
Проверьте, как вы усвоили материал курса. Выберите вариант и откройте ответ под вопросом.
1. В уроке «Когда использовать какую модель» порог точности Meridian равен 90%. Почему выбрано именно это число?
- Неверный ответ означает ручную проверку на 5 минут, инженеры могут вытянуть 5 таких проверок в месяц, а 5 из 50 это 10%
- Anthropic рекомендует порог 90% для любой задачи извлечения данных
- Haiku 4.5 набрала 84%, поэтому порог поставили чуть выше
- Самая дешёвая модель должна пройти 90%, прежде чем проверять остальные
Ответ: A. В уроке «Когда использовать какую модель» порог выводится из цены ошибки: каждый неверный ответ требует около 5 минут ручной проверки, инженеры могут вытянуть 5 проверок в месяц, а 5 из 50 отчётов это 10%, значит порог 90%.
2. В первом сравнении у Haiku 4.5 была самая низкая стоимость выполненной задачи ($0.0009), но Meridian выбрала Sonnet 5. Почему?
- У Sonnet 5 более новый токенизатор, из-за чего она всегда дешевле
- Haiku 4.5 не прошла порог 90%, поэтому не была кандидатом
- Opus 5 оказалась слишком дорогой, а Sonnet 5 была единственной другой моделью
- Стоимость выполненной задачи Haiku 4.5 посчитали по ценам batch
Ответ: B. Согласно уроку «Когда использовать какую модель», порог определяет, какие модели вообще кандидаты, а Haiku 4.5 набрала 84%, что ниже 90%. Среди прошедших порог побеждает самая низкая стоимость выполненной задачи, то есть Sonnet 5 за $0.0020.
3. В уроке «Создайте минимально жизнеспособную систему оценки (eval)»: какой грейдер Meridian должна использовать для поля schedule_status и почему?
- LLM-судью, потому что статус можно сформулировать по-разному
- Человека, потому что статус графика зависит от суждения
- Код с точным совпадением, потому что поле может принимать только on_track, at_risk или delayed
- LLM-судью, потому что он быстрее кода для коротких значений
Ответ: C. Урок «Создайте минимально жизнеспособную систему оценки (eval)» говорит использовать код для каждого поля…
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.