О чём урок
от Yousif Ahmed. Этот Colab Notebook демонстрирует, как создать анимированное сюжетное видео путём: Генерация последовательности сюжета с использованием структурированного Google Gemini API (для обеспечения согласованности персонажей). Генерация изображений для каждой сцены с использованием Imagen API от Google. Синтез аудиозаписи повествования с использованием Gemini Live. Создание коротких видеоклипов (наложение изображения + аудио) для каждой сцены. Объединение всех клипов в одно итоговое видео. Удаление временных файлов после обработки. Чтобы запустить следующую ячейку, ваш API ключ должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API ключа или вы не знаете, как создать Colab Secret, см. Authentication для примера 1. Генерация сюжета: Google Gemini API используется для генерации последовательности сюжетных сцен. Каждая сцена включает в себя image prompt, текст аудиоповествования и описания персонажей. Однако, для обеспечения согласованности в повествовании и представлении персонажей, Gemini ограничен в ответах форматом JSON, структурированным форматом данных. Ввод пользователя: Пользователь предоставляет тему и желаемое количество сцен для своей истории. Эта информация направляет процесс генерации сюжета. 2. Генерация изображений: Google Imagen API: На основе image prompt'ов, сгенерированных на предыдущем шаге, Imagen генерирует изображения для каждой сцены, визуально оживляя историю. Это обеспечивает визуально привлекательные анимации с согласованным художественным стилем. 3. Генерация аудио: Google Gemini Live API: Повествование или диалог для каждой сцены, сгенерированные в сюжетной последовательности, преобразуются в аудио с использованием Gemini Live API. Это добавляет озвучку к анимированному видео, улучшая повествование. 4. Композиция видео: MoviePy: Эта библиотека Python с открытым исходным кодом используется для объединения сгенерированных изображений и аудио для создания коротких видеоклипов для каждой сцены. Она также используется для сшивания этих клипов в итоговое анимированное видео. 5. Итоговый результат: Notebook создает анимированное видео в формате MP4, объединяя все элементы, сгенерированные на предыдущих шагах. MoviePy: Библиотека Python для редактирования видео, позволяющая выполнять такие задачи, как: Создание видеоклипов из изображений (ImageClip).
План урока
- Настройка вашего API ключа
- Пояснения к ключевым библиотекам
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.