О чём урок
Новый Batch API позволяет создавать асинхронные batch-задания по более низкой цене и с более высокими лимитами запросов.
Обработка batch-заданий будет завершена в течение 24 часов, но может быть выполнена раньше в зависимости от общей загрузки системы.
Идеальные сценарии использования Batch API включают:
- Разметка тегами, создание подписей или обогащение контента на маркетплейсе или в блоге
- Категоризация и предложение ответов для обращений в службу поддержки
- Проведение анализа тональности на больших наборах данных отзывов клиентов
- Генерация резюме или переводов для коллекций документов или статей
и многое другое!
В этом руководстве мы покажем вам, как использовать Batch API на нескольких практических примерах.
Мы начнем с примера категоризации фильмов с использованием gpt-4o-mini, а затем рассмотрим, как использовать возможности компьютерного зрения этой модели для создания подписей к изображениям.
Обратите внимание, что через Batch API доступно несколько моделей, и вы можете использовать те же параметры в вызовах Batch API, что и в endpoint'е Chat Completions.
В этом примере мы будем использовать gpt-4o-mini для извлечения категорий фильмов из их описаний. Мы также извлечем однопредложенческое резюме из этого описания.
Мы будем использовать режим JSON для извлечения категорий в виде массива строк и однопредложенческого резюме в структурированном формате.
Для каждого фильма мы хотим получить результат, который выглядит следующим образом:
Для этого примера мы будем использовать набор данных IMDB с 1000 лучших фильмов.
Здесь мы подготовим наши запросы, сначала протестировав их с помощью endpoint'а Chat Completions.
Как только мы будем удовлетворены результатами, мы сможем перейти к созданию batch-файла.
Batch-файл в формате jsonl должен содержать одну строку (JSON-объект) на каждый запрос. Каждый запрос определяется следующим образом:
Примечание: ID запроса должен быть уникальным для каждого batch-задания. Это то, что вы можете использовать для сопоставления результатов с исходными входными файлами, поскольку запросы не будут возвращены в том же порядке.
Примечание: это может занять до 24 часов, но обычно завершается быстрее.
Вы можете продолжать проверять…
План урока
- Настройка
- Первый пример: Категоризация фильмов
- Загрузка данных
- Этап обработки
- Создание batch-файла
- Загрузка файла
- Создание batch-задания
- Проверка статуса batch-задания
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.