О чём урок
Улучшайте промпт, прежде чем переходить на более мощную модель
Если модель набирает меньше вашего порога точности, изучите её ошибки и исправьте промпт, прежде чем платить за более крупную модель. Затем повторно прогоните те же кейсы. Так самая дешёвая из трёх протестированных в Meridian моделей Claude поднялась с 84% до 100%.
Демонстрация в этом видео записана в августе 2026 года. Она выполнялась на Claude Haiku 4.5, Claude Sonnet 5 и Claude Opus 5, и оценки с затратами на этой странице получены именно в ней. На более новых моделях результаты будут отличаться. Новейшие модели Haiku, Sonnet и Opus сейчас: Claude Haiku 5.5, Claude Sonnet 5.5 и Claude Opus 5.5. Демонстрация каждого урока представляет собой отдельный прогон eval, поэтому её оценки и затраты не совпадают с теми, что приведены в других уроках.
Низкая оценка в eval говорит о том, что модель ошиблась в слишком многих кейсах, но не о том, кто виноват: модель или ваш промпт.
Сначала проверьте промпт, потому что переход на более крупную модель повышает стоимость каждого запроса, который вы отправляете после него. Изменение промпта занимает несколько минут, и результат можно проверить сразу же.
Meridian, вымышленная инженерная консалтинговая компания, использует один промпт, который извлекает три поля из каждого ежемесячного отчёта по проекту: ID проекта, статус графика и главный риск. Её eval — это тест из 50 кейсов, каждый из которых представляет собой отчёт и ожидаемый ответ к нему.
Claude Sonnet 5 и Claude Opus 5 ответили верно на все 50. Claude Haiku 4.5 — самая дешёвая из трёх моделей, но она набрала лишь 84%, что ниже порога точности: Meridian требует 90%, прежде чем начать использовать модель.
Прежде чем тратить больше на модель покрупнее, Meridian проходит пять шагов:
- Прочитать провалившиеся кейсы и найти, что их объединяет.
- Выбрать способы исправления для неподтверждённых ответов.
- Внести изменения в промпт.
- Повторно прогнать все…
План урока
- Прочитайте провалившиеся кейсы и найдите, что их объединяет
- Выберите способы исправления для неподтверждённых ответов
- Внесите изменения в промпт
- Повторно прогоните все 50 кейсов на всех трёх моделях
- Проверьте каждый столбец, а затем решите, нужен ли переход на другую модель
- Итог
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.