О чём урок
Этот notebook представляет собой реализацию виртуальной примерки различных нарядов посредством редактирования изображений и inpainting с использованием Imagen 3, совместно с Gemini 2.5 для создания масок сегментации. Примечание: Этот notebook предназначен для запуска в Google Colab. Некоторые команды, такие как %cd, специфичны для среды Colab и могут не работать за её пределами. Есть классный пример Gemini? Не стесняйтесь поделиться им! Примечание: Для более старой реализации, которая использовала SAM 2.1 для генерации масок сегментации, обратитесь к этому notebook. Прежде чем начать, убедитесь, что у вас есть следующие предварительные условия: Доступ к Gemini API: Убедитесь, что у вас есть доступ к Gemini API. Аккаунт GCP: Вам потребуется активный аккаунт GCP с настроенным платёжным проектом и включённым Vertex AI API. Если вы не знаете, как начать, следуйте инструкциям в этом руководстве по настройке. Как только всё будет готово, можно приступать. Чтобы запустить следующую ячейку, ваш ключ Gemini API должен быть сохранён в Colab Secret с именем GEMINI_API_KEY. Если у вас ещё нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для примера. Кроме того, пожалуйста, сохраните ваш идентификатор проекта GCP в Colab Secret с именем GCP_PROJECT_ID. Передайте изображение и объект для сегментации как часть текстового prompt в Gemini 2.5. Далее необходимо настроить определённые параметры следующим образом: Base image: Входной файл изображения для редактирования. Mask file:: Бинарная маска объекта для inpainting. Edit mode: Параметры, такие как inpainting-insert, inpainting-remove или outpainting. Mask mode: Фон или передний план Dilation: Значение с плавающей точкой от 0 до 1, указывающее процент предоставленной маски. Наконец, изображение готово к генерации и редактированию с использованием Imagen 3. Примечание: Для точной генерации и редактирования изображений убедитесь, что предоставлена точная маска объекта. Кроме того, для генерируемого изображения должен быть предоставлен подробный prompt. Достижение оптимальных результатов может потребовать нескольких попыток.
План урока
- Этот notebook был предоставлен Nitin Tiwari.
- Прежде чем начать
- Шаг 1: Установка Gen AI SDK
- Шаг 2: Импорт библиотек
- Шаг 3: Настройка ключа Gemini API и идентификатора проекта GCP
- Системные инструкции
- Шаг 4: Сегментация по ссылочному выражению с помощью Gemini 2.5
- Шаг 5: Настройка параметров Imagen 3
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.