О чём урок
Segment Anything — это модель от Meta, которую можно использовать для выделения частей изображений. В сочетании со способностью DALL·E дорисовывать (inpaint) указанные части изображений, вы можете легко использовать Segment Anything для выделения любой части изображения, которую хотите изменить.
В этом notebook'е мы будем использовать эти инструменты, чтобы стать модельерами и динамически заменять наряды наших цифровых моделей на сшитые по индивидуальному заказу, оригинальные творения. Notebook будет следовать такому алгоритму:
- Настройка: Инициализируйте библиотеки и необходимые каталоги.
- Генерация исходного изображения: Создайте исходное изображение, из которого мы будем генерировать динамические маски.
- Генерация маски: Используйте Segment Anything для создания динамической маски.
- Создание нового изображения: Сгенерируйте новое изображение, где замаскированная область будет дорисована (inpainted) с помощью нового prompt'а.
Для начала нам нужно следовать инструкциям по использованию модели Segment Anything (SAM), открытой Meta. По состоянию на май 2023 года, основные шаги таковы:
- Установите Pytorch (версии 1.7+).
- Установите библиотеку, используя pip install git+https://github.com/facebookresearch/segment-anything.git.
- Установите зависимости, используя pip install opencv-python pycocotools matplotlib onnxruntime onnx.
- Загрузите checkpoint модели для использования (размер по умолчанию — 2.4 ГБ).
Сначала мы создадим исходное изображение, из которого будем генерировать маски.
Далее мы загрузим одно из наших изображений и сгенерируем маски.
Для этой демонстрации мы выбираем UX-сценарий, где мы «кликаем» по точке на изображении для генерации масок. Однако существуют примеры notebook'ов, предоставленные Meta, которые показывают, как генерировать все возможные маски для изображения, рисовать рамку и использовать другие полезные подходы.
План урока
- Настройка
- Генерация исходного изображения
- Генерация маски
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.