О чём урок
Запустить в Google Colab Посмотреть на GitHub
Gemini Omni Flash 1.1 (gemini-omni-1.1-flash) — это высокопроизводительная мультимодальная модель, разработанная для быстрой, разговорной генерации, редактирования видео и кинематографического контроля. Gemini Omni Flash 1.1 полностью заменяет предыдущие версии Gemini Omni Flash, предлагая улучшенное качество генерации, нативную мультимодальность и возможности редактирования видео с сохранением состояния через Interactions API:
- Нативная мультимодальность: Одновременно обрабатывает текст, изображения, аудио и видео для создания связного и последовательного движения.
- Разговорное редактирование: Итерируйте и уточняйте видеосцены в ходе разговора, используя previous_interaction_id.
- Знание мира: Использует глубокое физическое, научное и культурное понимание Gemini для создания богатых визуальных историй.
Для Interactions API требуется последняя версия SDK google-genai.
Чтобы запустить следующие ячейки, ваш ключ API должен быть сохранен в секрете Colab под названием GEMINI_API_KEY. Если у вас еще нет ключа API, создайте его в Google AI Studio. Подробные инструкции по ключам API и аутентификации см. в руководстве по аутентификации.
Выберите модель, которую вы хотите использовать в этом руководстве:
Чтобы сгенерировать видео исключительно из текстовых инструкций, вызовите client.interactions.create с model=MODEL_ID и укажите "type": "video" внутри response_format:
Когда вы вызываете client.interactions.create(...), API возвращает объект ответа Interaction. Поскольку Omni является нативно мультимодальным и структурирован вокруг разговорных ходов, ответ содержит упорядоченную последовательность steps, представляющих траекторию выполнения модели.
Каждый шаг в interaction.steps имеет type: * thought: Содержит сводки рассуждений, когда мышление включено. * model_output: Содержит окончательно сгенерированный медиаконтент.
Внутри шага model_output, step.content представляет собой список медиа-частей (text, image, audio или video). Вы можете вручную обходить эти части для проверки метаданных или извлечения видеобайтов:
Для упрощения адаптации и повседневного написания сценариев SDK google-genai предоставляет прямое свойство-ярлык .output_video в ответе взаимодействия, которое всегда содержит последнее сгенерированное видео:
Чтобы упростить следующие блоки кода, давайте определим вспомогательные функции, использующие IPython.display.Video и Markdown:
Gemini Omni Flash включает…
План урока
- Настройка
- Установка SDK
- Генерация видео с помощью Omni
- Понимание выходных данных API и ярлыка .output_video
- Обход выходных шагов
- Удобное свойство .output_video
- Управление мышлением и рассуждениями модели
- Контроль соотношения сторон
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.