Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 187 · Текст · ~5 мин

Оцениваем качество веб-поиска на своём наборе данных

Урок 187 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует, как оценить способность модели получать правильные ответы из интернета, используя фреймворк OpenAI Evals с пользовательским набором данных, хранящимся в памяти.

Цели:

  • Показать, как настроить и запустить оценку качества веб-поиска.
  • Предоставить шаблон для оценки возможностей извлечения информации LLM.

Мы начинаем с импорта необходимых библиотек и настройки клиента OpenAI.Это гарантирует нам доступ к OpenAI API и всем необходимым утилитам для оценки.

Мы определяем небольшой набор данных, хранящийся в памяти, состоящий из пар вопрос-ответ для оценки веб-поиска.Каждый элемент содержит query (поисковый prompt пользователя) и answer (ожидаемый эталонный ответ).

Совет:Вы можете изменить или расширить этот набор данных в соответствии с вашим вариантом использования или для тестирования более широких сценариев поиска.

Для оценки ответов модели мы используем LLM-оценщик типа «зачет/незачет»:

  • Оценщик «Зачет/Незачет»:LLM-оценщик, который проверяет, соответствует ли ответ модели (из веб-поиска) ожидаемому ответу (эталонному) или содержит ли он правильную информацию.

Рекомендация:Использование LLM-оценщика обеспечивает гибкость при оценке открытых или нечетких ответов.

Теперь мы настраиваем оценку, используя фреймворк OpenAI Evals.

Этот шаг определяет:

  • Название оценки и набор данных.
  • Схему для каждого элемента (какие поля присутствуют в каждой паре вопрос-ответ).
  • Используемые оценщики (LLM-оценщики типа «зачет/незачет»).
  • Критерии прохождения и метки.

Рекомендация:Четкое определение схемы оценки и логики оценивания заранее обеспечивает воспроизводимость и прозрачность.

Теперь мы запускаем оценку для выбранных моделей (gpt-4.1 и gpt-4.1-mini).

После запуска оценки мы опрашиваем её состояние до завершения (либо completed, либо failed).

Рекомендация:Опрос с задержкой позволяет избежать избыточных вызовов API и обеспечивает эффективное использование ресурсов.

Наконец, мы отображаем выходные данные модели для ручной проверки и дальнейшего анализа.

  • Каждый ответ выводится для каждого запроса в наборе данных.
  • Вы можете сравнить выходные данные с ожидаемыми ответами для оценки качества, релевантности и правильности.

Вы можете визуализировать результаты на панели мониторинга evals, перейдя по ссылке https://platform.openai.com/evaluations, как показано на изображении ниже:

В…

План урока

  1. Настройка окружения
  2. Определение пользовательского набора данных для оценки
  3. Определение логики оценивания
  4. Определение конфигурации оценки
  5. Запуск модели и опрос на предмет завершения
  6. Отображение и интерпретация выходных данных модели

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды