Пакетная обработка через Batch API

О чём урок

Новый Batch API позволяет создавать асинхронные batch-задания по более низкой цене и с более высокими лимитами запросов. Обработка batch-заданий будет завершена в течение 24 часов, но может быть выполнена раньше в зависимости от общей загрузки системы. Идеальные сценарии использования Batch API включают: Разметка тегами, создание подписей или обогащение контента на маркетплейсе или в блоге Категоризация и предложение ответов для обращений в службу поддержки Проведение анализа тональности на больших наборах данных отзывов клиентов Генерация резюме или переводов для коллекций документов или статей и многое другое! В этом руководстве мы покажем вам, как использовать Batch API на нескольких практических примерах. Мы начнем с примера категоризации фильмов с использованием gpt-4o-mini, а затем рассмотрим, как использовать возможности компьютерного зрения этой модели для создания подписей к изображениям. Обратите внимание, что через Batch API доступно несколько моделей, и вы можете использовать те же параметры в вызовах Batch API, что и в endpoint'е Chat Completions. В этом примере мы будем использовать gpt-4o-mini для извлечения категорий фильмов из их описаний. Мы также извлечем однопредложенческое резюме из этого описания. Мы будем использовать режим JSON для извлечения категорий в виде массива строк и однопредложенческого резюме в структурированном формате. Для каждого фильма мы хотим получить результат, который выглядит следующим образом: Для этого примера мы будем использовать набор данных IMDB с 1000 лучших фильмов. Poster_Link Series_Title Released_Year Certificate Runtime Genre IMDB_Rating Overview Meta_score Director Star1 Star2 Star3 Star4 No_of_Votes Gross 0 https://m.media-amazon.com/images/M/MV5BMDFkYT... The Shawshank Redemption 1994 A 142 min Drama 9.3 Two imprisoned men bond over a number of years... 80.0 Frank Darabont Tim Robbins Morgan Freeman Bob Gunton William Sadler 2343110 28,341,469 1 https://m.media-amazon.com/images/M/MV5BM2MyNj...

План урока

1. Настройка
2. Первый пример: Категоризация фильмов
3. Загрузка данных
4. Этап обработки
5. Создание batch-файла
6. Загрузка файла
7. Создание batch-задания
8. Проверка статуса batch-задания