Пакетная обработка запросов

Цели урока

• Настроить окружение для Batch Mode.
• Создать batch job, загрузив файл JSONL (рекомендуется для больших jobs).
• Создать batch job, используя inline requests (удобно для небольших jobs).
• Отслеживать статус вашей job.
• Получать и анализировать результаты для обоих типов jobs.

О чём урок

The Gemini Batch API предназначен для асинхронной обработки больших объемов запросов, не критичных к задержкам. Он идеально подходит для рабочих нагрузок, требующих высокой throughput, таких как предварительная обработка datasets, проведение крупномасштабных оценок или массовая генерация контента. Ключевые преимущества: Высокая throughput: Обрабатывайте миллионы запросов в рамках одной job. Экономия средств: Стоимость batch-запросов на 50% ниже по сравнению со стандартным API. Асинхронность: Отправляйте свою job и получайте результаты позже, в пределах 24-часового SLO. В этом notebook вы узнаете, как: Управлять вашими jobs (просматривать список и отменять). Использовать batch embeddings. Генерировать с multimodal inputs. Генерировать изображения. Примечание: Batch API является отдельным endpoint, который работает независимо как от generateContent, так и от Interactions API. Этот notebook работает "как есть". Установите SDK из PyPI. Для выполнения следующей cell ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для пошагового руководства. Инициализируйте client с вашим API key: Большинство Gemini моделей совместимы с Batch mode, но размер queue для каждой из них не одинаков. Подробности см. в документации. Media gen модели (Imagen, Lyria или Veo) в настоящее время несовместимы с Batch API. Но если вы хотите пакетно создавать изображения, вы можете использовать модель Nano-Banana (см. пример ниже). Вы можете создавать batch jobs двумя способами: На основе файла (src): Загрузите файл JSONL, содержащий все ваши запросы. Это рекомендуемый метод для больших datasets. Встроенные (inlined_requests): Передайте список request objects непосредственно в вашем коде. Это удобно для небольших, динамически генерируемых jobs. Это наиболее распространенный workflow. Вы подготовите входной файл, загрузите его, создадите job, будете отслеживать ее и получать результаты. Входной файл должен быть JSON файлом, где каждая строка является JSON object.

План урока

1. Установка SDK
2. Настройка вашего API key
3. Инициализация SDK client
4. Выбор модели
5. Создание job из файла
6. Шаг 1: Подготовка и загрузка входного файла
7. Шаг 2: Создание Batch Job
8. Шаг 3: Мониторинг статуса job