Исправляем консистентность с помощью референсов

Цели урока

• Понять важность непрерывности (continuity) в ИИ-фильммейкинге.
• Научиться генерировать переходные кадры для связки несвязанных сцен.
• Осознать, что ИИ-модели не отслеживают непрерывность самостоятельно.
• Изучить метод использования видео для создания консистентных опорных изображений локаций.
• Научиться использовать полученные кадры в качестве "замков позиции" для последующих генераций.

О чём урок

В этом уроке мы углубимся в процесс создания непрерывного повествования в ИИ-фильмах, фокусируясь на важности связок между сценами и поддержании логики локаций. Мы узнаем, как использовать текстовые промпты для генерации переходов и как хитрость с видео может обеспечить беспрецедентную консистентность кадров. Цель ИИ-фильммейкинга состоит в том, чтобы рассказать историю, используя мощь генеративного ИИ, а не просто демонстрировать отдельные кадры. Один из ключевых элементов, который необходимо освоить, — это непрерывность сцен. При размещении двух сцен на таймлайне (герой выходит из дилерского центра, затем сразу появляется на заправке) возникает проблема "телепортации", которая дезориентирует зрителя. В ИИ-фильммейкинге именно вы отвечаете за поддержание непрерывности, модель сама не будет ее отслеживать. Для связки двух сцен необходимо добавить несколько кадров, показывающих перемещение героя. Вместо использования локации заправки для этих кадров, было принято решение сгенерировать новую локацию — жилую улицу Лос-Анджелеса. Почему новая локация? Сюжетно, герой должен преодолеть некоторое расстояние до встречи. Если бы кадры вождения снимались на локации заправки, заправка уже была бы в кадре до того, как история доберется до нее, что разрушило бы монтаж. В инструменте Claude был подготовлен детальный промпт для первого кадра. Затем этот промпт был использован в Cinema Studio (Cidence) для генерации: Из четырех сгенерированных вариантов сработал только один. Из него были выбраны первый и последний кадры: Низкий ракурс колеса: прекрасно передает движение, видна работа подвески. Шум проезжающей мимо машины (roadside whoosh): создает ощущение скорости. Средний кадр (top-down aerial over traffic) не сработал ни разу, что указывает на ограничения текущих моделей для таких сложных запросов. Для того чтобы ввести героя в сцену, необходимы кадры внутри автомобиля. Снова в Claude был описан следующий кадр: Результат: Получился очень удачный кадр с отражениями пальм на лобовом стекле и крыше. Важно, что герой не смотрит прямо в камеру, что повышает реалистичность.

План урока

1. Проблема: нарушение непрерывности
2. Решение: генерация переходных кадров
3. Генерация кадров вождения на улице LA
4. Анализ результатов генерации кадров вождения
5. Генерация интерьерных кадров
6. Географическая непрерывность
7. Любимый трюк: использование видео для консистентности интерьера
8. Практические советы