Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 06 · Текст · ~5 мин

Генерируем анимированную историю

Урок 6 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

от Yousif Ahmed.

Этот Colab Notebook демонстрирует, как создать анимированное сюжетное видео путём:

  1. Генерация последовательности сюжета с использованием структурированного Google Gemini API (для обеспечения согласованности персонажей).
  2. Генерация изображений для каждой сцены с использованием Imagen API от Google.
  3. Синтез аудиозаписи повествования с использованием Gemini Live.
  4. Создание коротких видеоклипов (наложение изображения + аудио) для каждой сцены.
  5. Объединение всех клипов в одно итоговое видео.
  6. Удаление временных файлов после обработки.

Чтобы запустить следующую ячейку, ваш API ключ должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API ключа или вы не знаете, как создать Colab Secret, см. Authentication для примера

1. Генерация сюжета:

  • Google Gemini API используется для генерации последовательности сюжетных сцен. Каждая сцена включает в себя image prompt, текст аудиоповествования и описания персонажей. Однако, для обеспечения согласованности в повествовании и представлении персонажей, Gemini ограничен в ответах форматом JSON, структурированным форматом данных.
  • Ввод пользователя: Пользователь предоставляет тему и желаемое количество сцен для своей истории. Эта информация направляет процесс генерации сюжета.

2. Генерация изображений:

  • Google Imagen API: На основе image prompt'ов, сгенерированных на предыдущем шаге, Imagen генерирует изображения для каждой сцены, визуально оживляя историю. Это обеспечивает визуально привлекательные анимации с согласованным художественным стилем.

3. Генерация аудио:

  • Google Gemini Live API: Повествование или диалог для каждой сцены, сгенерированные в сюжетной последовательности, преобразуются в аудио с использованием Gemini Live API. Это добавляет озвучку к анимированному видео, улучшая повествование.

4. Композиция видео:

  • MoviePy: Эта библиотека Python с открытым исходным кодом используется для объединения сгенерированных изображений и аудио для создания коротких видеоклипов для каждой сцены. Она также используется для сшивания этих клипов в итоговое анимированное видео.

5. Итоговый результат:

  • Notebook создает анимированное видео в формате MP4, объединяя все элементы, сгенерированные на предыдущих шагах.

MoviePy: Библиотека Python для редактирования видео, позволяющая выполнять такие задачи, как:

  • Создание видеоклипов из изображений (ImageClip).
  • Добавление аудио к видео…

План урока

  1. Настройка вашего API ключа
  2. Пояснения к ключевым библиотекам

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды