Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 33 · Текст · ~5 мин

Теги и подписи к изображениям

Урок 33 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Вы будете использовать возможности компьютерного зрения модели Gemini и модель встраивания для добавления тегов и подписей к изображениям предметов одежды.

Эти описания могут быть использованы вместе со встраиваниями, чтобы вы могли искать конкретные предметы одежды, используя естественный язык или другие изображения.

Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.

Сначала вам нужно загрузить набор данных с изображениями. Он содержит изображения различной одежды, которые вы можете использовать для тестирования модели.

Распакуйте данные из clothes-dataset.zip и поместите их в папку в вашей среде Colab.

Вы можете использовать LLM для извлечения релевантных ключевых слов из изображений.

Вот вспомогательная функция для вызова Gemini API с изображениями. Задержка нужна для того, чтобы не превысить квоту. Актуальные квоты см. на нашей странице ценообразования.

Сначала определите список возможных ключевых слов.

Далее определите подсказку, которая поможет определить ключевые слова, описывающие одежду. В следующей подсказке используется метод few-shot prompting для обучения LLM примерами того, как эти ключевые слова должны генерироваться и какие из них являются допустимыми.

Сгенерируйте ключевые слова для каждого изображения.

Для решения этих проблем вы можете использовать встраивания для сопоставления ключевых слов с предопределенными и удаления несвязанных.

Для демонстрационных целей определите функцию, которая оценивает сходство между двумя векторами встраивания. В этом случае вы будете использовать косинусное сходство, но другие меры, такие как скалярное произведение, также работают.

Далее определите функцию, которая позволяет заменить ключевое слово наиболее похожим словом в ранее созданном вами DataFrame ключевых слов.

Обратите внимание, что порог выбран произвольно, он может потребовать настройки в зависимости от варианта использования и набора данных.

Вот пример того, как эти ключевые слова могут быть сопоставлены с ключевым словом с наиболее близким значением.

Теперь вы можете либо оставить слова, которые не…

План урока

  1. Настройка
  2. Настройка ключа API
  3. Загрузка набора данных
  4. Генерация ключевых слов
  5. Коррекция и дедупликация ключевых слов
  6. Генерация подписей
  7. Поиск конкретной одежды
  8. Подготовка нашего набора данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды