О чём урок
Запустить в Google Colab Посмотреть на GitHub Gemini Omni Flash 1.1 (gemini-omni-1.1-flash) — это высокопроизводительная мультимодальная модель, разработанная для быстрой, разговорной генерации, редактирования видео и кинематографического контроля. Gemini Omni Flash 1.1 полностью заменяет предыдущие версии Gemini Omni Flash, предлагая улучшенное качество генерации, нативную мультимодальность и возможности редактирования видео с сохранением состояния через Interactions API: Нативная мультимодальность: Одновременно обрабатывает текст, изображения, аудио и видео для создания связного и последовательного движения. Разговорное редактирование: Итеративно уточняйте видеосцены в ходе диалога, используя previous_interaction_id. Знание мира: Использует глубокое физическое, научное и культурное понимание Gemini для создания насыщенных визуальных историй. Для Interactions API требуется последняя версия google-genai SDK. Для запуска следующих cells ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key, создайте его в Google AI Studio. Подробные инструкции по API keys и аутентификации см. в руководстве по аутентификации. Выберите модель, которую вы хотите использовать в этом руководстве: Чтобы сгенерировать видео исключительно из текстовых инструкций, вызовите client.interactions.create с model=MODEL_ID и укажите "type": "video" внутри response_format: При вызове client.interactions.create(...) API возвращает объект ответа Interaction. Поскольку Omni является нативно мультимодальной и структурированной вокруг разговорных turns, ответ содержит упорядоченную последовательность steps, представляющих траекторию выполнения модели. Каждый step в interaction.steps имеет type: thought: Содержит краткие изложения рассуждений, когда thinking включен. model_output: Содержит окончательный сгенерированный медиаконтент. Внутри step model_output, step.content представляет собой список медиа-частей (text, image, audio или video). Вы можете вручную обходить эти части, чтобы проверять метаданные или извлекать байты видео: Ваш браузер не поддерживает видео тег. Для упрощения освоения и повседневного написания скриптов google-genai SDK предоставляет прямое сокращенное свойство .output_video в ответе interaction, которое всегда содержит последнее сгенерированное видео: Ваш браузер не поддерживает видео тег.
План урока
- Настройка
- Установка SDK
- Генерация видео с Omni
- Понимание API Outputs и сокращения .output_video
- Обход выходных steps
- Удобное свойство .output_video
- Управление Thinking и Reasoning модели
- Управление соотношением сторон
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.