Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 116 · Текст · ~5 мин

Пакетная обработка через Batch API

Урок 116 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Новый Batch API позволяет создавать асинхронные batch-задания по более низкой цене и с более высокими лимитами запросов.

Обработка batch-заданий будет завершена в течение 24 часов, но может быть выполнена раньше в зависимости от общей загрузки системы.

Идеальные сценарии использования Batch API включают:

  • Разметка тегами, создание подписей или обогащение контента на маркетплейсе или в блоге
  • Категоризация и предложение ответов для обращений в службу поддержки
  • Проведение анализа тональности на больших наборах данных отзывов клиентов
  • Генерация резюме или переводов для коллекций документов или статей

и многое другое!

В этом руководстве мы покажем вам, как использовать Batch API на нескольких практических примерах.

Мы начнем с примера категоризации фильмов с использованием gpt-4o-mini, а затем рассмотрим, как использовать возможности компьютерного зрения этой модели для создания подписей к изображениям.

Обратите внимание, что через Batch API доступно несколько моделей, и вы можете использовать те же параметры в вызовах Batch API, что и в endpoint'е Chat Completions.

В этом примере мы будем использовать gpt-4o-mini для извлечения категорий фильмов из их описаний. Мы также извлечем однопредложенческое резюме из этого описания.

Мы будем использовать режим JSON для извлечения категорий в виде массива строк и однопредложенческого резюме в структурированном формате.

Для каждого фильма мы хотим получить результат, который выглядит следующим образом:

Для этого примера мы будем использовать набор данных IMDB с 1000 лучших фильмов.

Здесь мы подготовим наши запросы, сначала протестировав их с помощью endpoint'а Chat Completions.

Как только мы будем удовлетворены результатами, мы сможем перейти к созданию batch-файла.

Batch-файл в формате jsonl должен содержать одну строку (JSON-объект) на каждый запрос. Каждый запрос определяется следующим образом:

Примечание: ID запроса должен быть уникальным для каждого batch-задания. Это то, что вы можете использовать для сопоставления результатов с исходными входными файлами, поскольку запросы не будут возвращены в том же порядке.

Примечание: это может занять до 24 часов, но обычно завершается быстрее.

Вы можете продолжать проверять…

План урока

  1. Настройка
  2. Первый пример: Категоризация фильмов
  3. Загрузка данных
  4. Этап обработки
  5. Создание batch-файла
  6. Загрузка файла
  7. Создание batch-задания
  8. Проверка статуса batch-задания

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды