Динамические маски с DALL·E и Segment Anything

О чём урок

Segment Anything — это модель от Meta, которую можно использовать для выделения частей изображений. В сочетании со способностью DALL·E дорисовывать (inpaint) указанные части изображений, вы можете легко использовать Segment Anything для выделения любой части изображения, которую хотите изменить. В этом notebook'е мы будем использовать эти инструменты, чтобы стать модельерами и динамически заменять наряды наших цифровых моделей на сшитые по индивидуальному заказу, оригинальные творения. Notebook будет следовать такому алгоритму: Настройка: Инициализируйте библиотеки и необходимые каталоги. Генерация исходного изображения: Создайте исходное изображение, из которого мы будем генерировать динамические маски. Генерация маски: Используйте Segment Anything для создания динамической маски. Создание нового изображения: Сгенерируйте новое изображение, где замаскированная область будет дорисована (inpainted) с помощью нового prompt'а. Для начала нам нужно следовать инструкциям по использованию модели Segment Anything (SAM), открытой Meta. По состоянию на май 2023 года, основные шаги таковы: Установите Pytorch (версии 1.7+). Установите библиотеку, используя pip install git+https://github.com/facebookresearch/segment-anything.git. Установите зависимости, используя pip install opencv-python pycocotools matplotlib onnxruntime onnx. Загрузите checkpoint модели для использования (размер по умолчанию — 2.4 ГБ). Сначала мы создадим исходное изображение, из которого будем генерировать маски. Далее мы загрузим одно из наших изображений и сгенерируем маски. Для этой демонстрации мы выбираем UX-сценарий, где мы «кликаем» по точке на изображении для генерации масок. Однако существуют примеры notebook'ов, предоставленные Meta, которые показывают, как генерировать все возможные маски для изображения, рисовать рамку и использовать другие полезные подходы.

План урока

1. Настройка
2. Генерация исходного изображения
3. Генерация маски