Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 184 · Текст · ~5 мин

Как проверить новую модель на старых ответах

Урок 184 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом оценочном тесте мы сравним новую модель (gpt-4.1-mini) с нашей старой моделью (gpt-4o-mini), оценивая её на основе сохранённых ответов. Преимущество этого подхода для большинства разработчиков заключается в том, что им не придётся тратить время на создание полноценного оценочного теста — все их данные уже будут храниться на их странице логов.

Мы хотим посмотреть, как gpt-4.1 сравнивается с gpt-4o в объяснении кодовой базы. Поскольку источник данных ответов можно использовать только при наличии пользовательского трафика, мы сгенерируем некоторый пример трафика с помощью 4o, а затем сравним его с gpt-4.1.

Мы получим несколько примеров файлов кода из OpenAI SDK и попросим gpt-4o объяснить их нам.

Теперь сгенерируем несколько ответов.

Обратите внимание, что для работы этого функционала вы должны использовать организацию, в которой не отключено логирование данных (через zdr и т.д.). Если вы не уверены, так ли это в вашем случае, перейдите по ссылке https://platform.openai.com/logs?api=responses и проверьте, видны ли сгенерированные вами ответы.

Сначала запустим прогон, чтобы оценить качество исходных ответов. Для этого мы просто устанавливаем фильтры для ответов, которые хотим оценить

Теперь посмотрим, как покажет себя 4.1-mini!

Теперь перейдём на панель управления (dashboard), чтобы посмотреть результаты!

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды