Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 185 · Текст · ~5 мин

Как оценивать структурированный вывод

Урок 185 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook проведет вас через набор целенаправленных, запускаемых примеров использования фреймворка OpenAI Evals для тестирования, оценки и итерации задач, требующих от больших языковых моделей создания структурированных выводов.

Почему это важно?Промышленные системы часто зависят от JSON, SQL или предметно-ориентированных форматов. Полагаться на выборочные проверки или ситуативные корректировки prompt быстро становится неэффективным. Вместо этого вы можете кодифицировать ожидания в виде автоматизированных evals и позволить вашей команде выпускать продукты с кирпичами безопасности вместо песка.

  • Раздел 1 – Предварительные условия: переменные среды и настройка пакетов
  • Раздел 2 – Пошаговое руководство: Извлечение символов кода: сквозная демонстрация, оценивающая способность модели извлекать имена функций и классов из исходного кода. Мы сохраняем исходную логику нетронутой и просто дополняем ее документацией.
  • Раздел 3 – Дополнительные рецепты: наброски распространенных производственных паттернов, таких как извлечение тональности, в качестве дополнительного примера кода для оценки.
  • Раздел 4 – Исследование результатов: легковесные вспомогательные средства для извлечения output выполнения и анализа сбоев.
  1. Установите зависимости (показаны минимальные версии):
  1. Аутентифицируйтесь, экспортировав ваш ключ:
  1. Необязательно: если вы планируете запускать evals в больших объемах, настройте ключ уровня организации с соответствующими лимитами.

Цель состоит в том, чтобы извлечь все символы функций, классов и констант из файлов Python внутри OpenAI SDK.Для каждого файла мы просим модель выдать структурированный JSON, например:

Затем модель-рубрика оценивает полноту (захватили ли мы каждый символ?) и качество (правильны ли типы?) по шкале от 1 до 7.

Рассмотрим пример оценки способности модели извлекать символы из кода с использованием фреймворка OpenAI Evals с пользовательским in-memory dataset.

Создает клиент openai.OpenAI, используя OPENAI_API_KEY, который мы экспортировали выше. Без этого ничего не будет работать.

  • get_dataset создает небольшой in-memory dataset, считывая несколько файлов SDK.
  • structured_output_grader определяет подробную рубрику оценки.
  • client.evals.create(...) регистрирует eval на платформе.

Здесь мы запускаем два выполнения для одного и того же eval: одно, которое вызывает endpoint Completions, и одно, которое вызывает endpoint Responses.

Далее…

План урока

  1. Краткий обзор
  2. Предварительные условия
  3. Вариант использования 1: Извлечение символов кода
  4. Оценка качества извлечения кода с помощью пользовательского Dataset
  5. Инициализация клиента SDK
  6. Фабрика Dataset и рубрика оценки
  7. Запуск выполнения моделей
  8. Вспомогательный опросчик

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды