Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 186 · Текст · ~5 мин

Оценка работы с инструментами в OpenAI Evals

Урок 186 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом руководстве показано, как **измерять и улучшать способность модели извлекать структурированную информацию из исходного кода** с помощью оценки инструментария. В данном случае, это набор *символов* (функций, классов, методов и переменных), определённых в файлах Python.

Установите последнюю версию пакета Python **openai** (≥ 1.14.0) и установите переменную среды OPENAI_API_KEY. Если вы также хотите оценить *помощника с инструментами*, включите *Assistants v2 beta* в своей учётной записи.

Ниже мы импортируем SDK, создаём клиент и определяем вспомогательную функцию, которая создаёт небольшой датасет из файлов внутри самого пакета **openai**.

  • get_dataset создаёт небольшой датасет в оперативной памяти, считывая несколько файлов SDK.
  • structured_output_grader определяет подробную рубрику оценки.
  • sampled.output_tools[0].function.arguments.symbols указывает извлечённые символы из файла кода на основе вызова инструмента.
  • client.evals.create(...) регистрирует eval на платформе.

Здесь мы создаём eval, который будет использоваться для оценки качества извлечённой информации из файлов кода.

Здесь мы запускаем два прогона для одной и той же оценки (eval): один, который вызывает endpoint **Completions**, и один, который вызывает endpoint **Responses**.

Мы создаём утилиту для опроса, которая будет использоваться для получения результатов прогонов eval.

Как для completions, так и для responses, мы выводим словарь *symbols*, который вернула модель. Вы можете сравнить его с эталонным ответом или вычислить точность (precision) / полноту (recall).

Вы можете перейти на дашборд Evals, чтобы визуализировать данные.

Вы также можете ознакомиться с объяснением неудачных результатов на дашборде Evals после завершения прогона, как показано на изображении ниже.

Этот notebook продемонстрировал, как использовать OpenAI Evals для оценки и улучшения способности модели извлекать структурированную информацию из кода Python с помощью вызовов инструментов.

OpenAI Evals предоставляет надёжную, воспроизводимую основу для оценки LLM в задачах структурированного извлечения. Объединяя чёткие схемы инструментов, строгие рубрики оценки и хорошо структурированные датасеты, вы можете измерять и улучшать общую производительность.

Для получения более подробной информации см. документацию OpenAI Evals.

План урока

  1. Настройка
  2. Фабрика датасетов и рубрика оценки
  3. Создание Evals
  4. Запуск прогонов модели
  5. Утилита для опроса
  6. Изучение результатов
  7. Символы вывода Completions против Responses
  8. Визуализация дашборда Evals

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды