
Цели урока
- Понять ключевые отличия и сложности работы ИИ с кадрами, снятыми с рук, по сравнению со статичными.
- Научиться формулировать промпты для динамических сцен, чтобы ИИ мог полностью перестроить окружение.
- Оценить способность ИИ интегрировать физические эффекты (такие как тени и движение волос от ветра) для повышения реализма.
О чём урок
В этом уроке мы рассмотрим, как использовать возможности искусственного интеллекта для добавления сложных визуальных эффектов (VFX) к видеоматериалам, снятым с рук (handheld footage). В отличие от статичных кадров, где ИИ справляется с задачей относительно легко, съемка с рук представляет собой серьезный вызов из-за постоянного движения камеры, изменения угла и параллакса.
Мы узнаем, как планировать съемку с учетом будущих ИИ-эффектов и использовать простые текстовые промпты для полной трансформации окружения, сохраняя при этом реалистичность движения объекта.
При работе со статичными или заблокированными кадрами, ИИ легко справляется с наложением эффектов, так как кадр почти не меняется. Достаточно просто "врисовать" нужные элементы. Однако, когда камера находится в руках, всё движется хаотично: меняется угол, параллакс, присутствует дрожание. Эффект должен отслеживать все эти изменения, не разрушаясь и оставаясь привязанным к объекту.
Задача этого урока — показать, как ИИ справляется с полностью съемкой с рук, где и камера, и оператор постоянно движутся.
Ключевой подход заключается в том, чтобы снимать каждый клип, уже зная, какой эффект вы хотите получить. После этого один простой промпт полностью перестраивает весь мир вокруг вас.
Шаг 1: Съемка
Снимите видеоклип, где вы или объект совершаете желаемое действие, помня о том, как это действие будет вписано в новый, сгенерированный ИИ-фон. В нашем примере, герой прыгает и удерживает равновесие на земле, но в будущем он будет "гулять" по крылу самолета.
Шаг 2: Формулировка промпта
Используйте простой, но описательный промпт, чтобы дать ИИ указания по изменению сцены. Пример промпта, который был использован в видео:
После ввода промпта, система Higgsfield анализирует исходный клип и предложенный промпт, формируя детальное описание сцены, которую она будет генерировать. В данном случае, это описание выглядело так:
Шаг 3: Генерация и анализ результата
ИИ обрабатывает исходный клип и промпт, создавая совершенно новую сцену. В примере урока, оригинальный кадр, снятый с рук на земле, превратился в сцену, где герой идет по крылу летящего биплана над…
План урока
- Сложности работы с Handheld Footage
- Главный секрет: предварительное планирование и промпты
- Практические советы
- Итоги
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.