Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 25 · Текст · ~5 мин

Создание и монтаж видео в Gemini Omni Flash

Урок 25 из 71 курса «Gemini API: быстрый старт»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Запустить в Google Colab Посмотреть на GitHub

Gemini Omni Flash 1.1 (gemini-omni-1.1-flash) — это высокопроизводительная мультимодальная модель, разработанная для быстрой, разговорной генерации, редактирования видео и кинематографического контроля. Gemini Omni Flash 1.1 полностью заменяет предыдущие версии Gemini Omni Flash, предлагая улучшенное качество генерации, нативную мультимодальность и возможности редактирования видео с сохранением состояния через Interactions API:

  • Нативная мультимодальность: Одновременно обрабатывает текст, изображения, аудио и видео для создания связного и последовательного движения.
  • Разговорное редактирование: Итерируйте и уточняйте видеосцены в ходе разговора, используя previous_interaction_id.
  • Знание мира: Использует глубокое физическое, научное и культурное понимание Gemini для создания богатых визуальных историй.

Для Interactions API требуется последняя версия SDK google-genai.

Чтобы запустить следующие ячейки, ваш ключ API должен быть сохранен в секрете Colab под названием GEMINI_API_KEY. Если у вас еще нет ключа API, создайте его в Google AI Studio. Подробные инструкции по ключам API и аутентификации см. в руководстве по аутентификации.

Выберите модель, которую вы хотите использовать в этом руководстве:

Чтобы сгенерировать видео исключительно из текстовых инструкций, вызовите client.interactions.create с model=MODEL_ID и укажите "type": "video" внутри response_format:

Когда вы вызываете client.interactions.create(...), API возвращает объект ответа Interaction. Поскольку Omni является нативно мультимодальным и структурирован вокруг разговорных ходов, ответ содержит упорядоченную последовательность steps, представляющих траекторию выполнения модели.

Каждый шаг в interaction.steps имеет type: * thought: Содержит сводки рассуждений, когда мышление включено. * model_output: Содержит окончательно сгенерированный медиаконтент.

Внутри шага model_output, step.content представляет собой список медиа-частей (text, image, audio или video). Вы можете вручную обходить эти части для проверки метаданных или извлечения видеобайтов:

Для упрощения адаптации и повседневного написания сценариев SDK google-genai предоставляет прямое свойство-ярлык .output_video в ответе взаимодействия, которое всегда содержит последнее сгенерированное видео:

Чтобы упростить следующие блоки кода, давайте определим вспомогательные функции, использующие IPython.display.Video и Markdown:

Gemini Omni Flash включает…

План урока

  1. Настройка
  2. Установка SDK
  3. Генерация видео с помощью Omni
  4. Понимание выходных данных API и ярлыка .output_video
  5. Обход выходных шагов
  6. Удобное свойство .output_video
  7. Управление мышлением и рассуждениями модели
  8. Контроль соотношения сторон

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды