Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 166 · Текст · ~5 мин

Динамические маски с DALL·E и Segment Anything

Урок 166 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Segment Anything — это модель от Meta, которую можно использовать для выделения частей изображений. В сочетании со способностью DALL·E дорисовывать (inpaint) указанные части изображений, вы можете легко использовать Segment Anything для выделения любой части изображения, которую хотите изменить.

В этом notebook'е мы будем использовать эти инструменты, чтобы стать модельерами и динамически заменять наряды наших цифровых моделей на сшитые по индивидуальному заказу, оригинальные творения. Notebook будет следовать такому алгоритму:

  • Настройка: Инициализируйте библиотеки и необходимые каталоги.
  • Генерация исходного изображения: Создайте исходное изображение, из которого мы будем генерировать динамические маски.
  • Генерация маски: Используйте Segment Anything для создания динамической маски.
  • Создание нового изображения: Сгенерируйте новое изображение, где замаскированная область будет дорисована (inpainted) с помощью нового prompt'а.

Для начала нам нужно следовать инструкциям по использованию модели Segment Anything (SAM), открытой Meta. По состоянию на май 2023 года, основные шаги таковы:

  • Установите Pytorch (версии 1.7+).
  • Установите библиотеку, используя pip install git+https://github.com/facebookresearch/segment-anything.git.
  • Установите зависимости, используя pip install opencv-python pycocotools matplotlib onnxruntime onnx.
  • Загрузите checkpoint модели для использования (размер по умолчанию — 2.4 ГБ).

Сначала мы создадим исходное изображение, из которого будем генерировать маски.

Далее мы загрузим одно из наших изображений и сгенерируем маски.

Для этой демонстрации мы выбираем UX-сценарий, где мы «кликаем» по точке на изображении для генерации масок. Однако существуют примеры notebook'ов, предоставленные Meta, которые показывают, как генерировать все возможные маски для изображения, рисовать рамку и использовать другие полезные подходы.

План урока

  1. Настройка
  2. Генерация исходного изображения
  3. Генерация маски

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды