О чём урок
Этот блокнот представляет собой реализацию виртуальной примерки различных нарядов путем редактирования и дорисовки изображений с использованием Imagen 3, а также Gemini 2.5 для создания масок сегментации.
Примечание: Этот блокнот предназначен для запуска в Google Colab. Некоторые команды, такие как %cd, специфичны для среды Colab и могут не работать за ее пределами.
Примечание: Для более старой реализации, которая использовала SAM 2.1 для генерации масок сегментации, обратитесь к этому блокноту.
Прежде чем начать, убедитесь, что у вас есть следующие предварительные условия:
- Доступ к Gemini API: Убедитесь, что у вас есть доступ к Gemini API.
- Аккаунт GCP: Вам понадобится активный аккаунт GCP с настроенным платежным проектом и включенным Vertex AI API. Если вы не знаете, как начать, следуйте инструкциям в этом руководстве по настройке.
Как только все это будет готово, вы можете приступать.
Чтобы запустить следующую ячейку, ваш ключ Gemini API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.
Кроме того, пожалуйста, сохраните идентификатор вашего проекта GCP в Colab Secret с именем GCP_PROJECT_ID.
Передайте изображение и объект для сегментации в качестве части текстового запроса в Gemini 2.5.
Далее необходимо настроить определенные параметры следующим образом:
- Базовое изображение: Входной файл изображения для редактирования.
- Файл маски:: Бинарная маска объекта для дорисовки.
- Режим редактирования: Опции, такие как inpainting-insert, inpainting-remove или outpainting.
- Режим маски: Фон или передний план
- Расширение: Значение с плавающей точкой от 0 до 1, указывающее процент предоставленной маски.
Наконец, изображение готово к генерации и редактированию с помощью Imagen 3.
Примечание: Для точной генерации и редактирования изображений убедитесь, что предоставлена точная маска объекта. Кроме того, для генерируемого изображения должен быть предоставлен подробный запрос. Достижение оптимальных результатов может потребовать нескольких попыток.
Поздравляем с успешным завершением этого руководства и созданием приложения…
План урока
- Этот блокнот был предоставлен Нитином Тивари.
- Прежде чем начать
- Шаг 1: Установите Gen AI SDK
- Шаг 2: Импортируйте библиотеки
- Шаг 3: Настройте ключ Gemini API и идентификатор проекта GCP
- Системные инструкции
- Шаг 4: Сегментация ссылочных выражений с помощью Gemini 2.5
- Шаг 5: Настройте параметры Imagen 3
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.