О чём урок
В этом руководстве показано, как **измерять и улучшать способность модели извлекать структурированную информацию из исходного кода** с помощью оценки инструментария. В данном случае, это набор *символов* (функций, классов, методов и переменных), определённых в файлах Python.
Установите последнюю версию пакета Python **openai** (≥ 1.14.0) и установите переменную среды OPENAI_API_KEY. Если вы также хотите оценить *помощника с инструментами*, включите *Assistants v2 beta* в своей учётной записи.
Ниже мы импортируем SDK, создаём клиент и определяем вспомогательную функцию, которая создаёт небольшой датасет из файлов внутри самого пакета **openai**.
- get_dataset создаёт небольшой датасет в оперативной памяти, считывая несколько файлов SDK.
- structured_output_grader определяет подробную рубрику оценки.
- sampled.output_tools[0].function.arguments.symbols указывает извлечённые символы из файла кода на основе вызова инструмента.
- client.evals.create(...) регистрирует eval на платформе.
Здесь мы создаём eval, который будет использоваться для оценки качества извлечённой информации из файлов кода.
Здесь мы запускаем два прогона для одной и той же оценки (eval): один, который вызывает endpoint **Completions**, и один, который вызывает endpoint **Responses**.
Мы создаём утилиту для опроса, которая будет использоваться для получения результатов прогонов eval.
Как для completions, так и для responses, мы выводим словарь *symbols*, который вернула модель. Вы можете сравнить его с эталонным ответом или вычислить точность (precision) / полноту (recall).
Вы можете перейти на дашборд Evals, чтобы визуализировать данные.
Вы также можете ознакомиться с объяснением неудачных результатов на дашборде Evals после завершения прогона, как показано на изображении ниже.
Этот notebook продемонстрировал, как использовать OpenAI Evals для оценки и улучшения способности модели извлекать структурированную информацию из кода Python с помощью вызовов инструментов.
OpenAI Evals предоставляет надёжную, воспроизводимую основу для оценки LLM в задачах структурированного извлечения. Объединяя чёткие схемы инструментов, строгие рубрики оценки и хорошо структурированные датасеты, вы можете измерять и улучшать общую производительность.
Для получения более подробной информации см. документацию OpenAI Evals.
План урока
- Настройка
- Фабрика датасетов и рубрика оценки
- Создание Evals
- Запуск прогонов модели
- Утилита для опроса
- Изучение результатов
- Символы вывода Completions против Responses
- Визуализация дашборда Evals
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.