О чём урок
от Yousif Ahmed.
Этот Colab Notebook демонстрирует, как создать анимированное сюжетное видео путём:
- Генерация последовательности сюжета с использованием структурированного Google Gemini API (для обеспечения согласованности персонажей).
- Генерация изображений для каждой сцены с использованием Imagen API от Google.
- Синтез аудиозаписи повествования с использованием Gemini Live.
- Создание коротких видеоклипов (наложение изображения + аудио) для каждой сцены.
- Объединение всех клипов в одно итоговое видео.
- Удаление временных файлов после обработки.
Чтобы запустить следующую ячейку, ваш API ключ должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API ключа или вы не знаете, как создать Colab Secret, см. Authentication для примера
1. Генерация сюжета:
- Google Gemini API используется для генерации последовательности сюжетных сцен. Каждая сцена включает в себя image prompt, текст аудиоповествования и описания персонажей. Однако, для обеспечения согласованности в повествовании и представлении персонажей, Gemini ограничен в ответах форматом JSON, структурированным форматом данных.
- Ввод пользователя: Пользователь предоставляет тему и желаемое количество сцен для своей истории. Эта информация направляет процесс генерации сюжета.
2. Генерация изображений:
- Google Imagen API: На основе image prompt'ов, сгенерированных на предыдущем шаге, Imagen генерирует изображения для каждой сцены, визуально оживляя историю. Это обеспечивает визуально привлекательные анимации с согласованным художественным стилем.
3. Генерация аудио:
- Google Gemini Live API: Повествование или диалог для каждой сцены, сгенерированные в сюжетной последовательности, преобразуются в аудио с использованием Gemini Live API. Это добавляет озвучку к анимированному видео, улучшая повествование.
4. Композиция видео:
- MoviePy: Эта библиотека Python с открытым исходным кодом используется для объединения сгенерированных изображений и аудио для создания коротких видеоклипов для каждой сцены. Она также используется для сшивания этих клипов в итоговое анимированное видео.
5. Итоговый результат:
- Notebook создает анимированное видео в формате MP4, объединяя все элементы, сгенерированные на предыдущих шагах.
MoviePy: Библиотека Python для редактирования видео, позволяющая выполнять такие задачи, как:
- Создание видеоклипов из изображений (ImageClip).
- Добавление аудио к видео…
План урока
- Настройка вашего API ключа
- Пояснения к ключевым библиотекам
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.