Теги и подписи к изображениям

О чём урок

Вы будете использовать возможности компьютерного зрения модели Gemini и модель embedding для добавления тегов и подписей к изображениям предметов одежды. Эти описания могут использоваться вместе с embeddings, чтобы вы могли искать конкретные предметы одежды, используя естественный язык или другие изображения. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для примера. Сначала вам нужно загрузить dataset с изображениями. Он содержит изображения различной одежды, которые вы можете использовать для тестирования модели. Распакуйте данные из clothes-dataset.zip и поместите их в папку в вашей Colab environment. Вы можете использовать LLM для извлечения релевантных ключевых слов из изображений. Вот вспомогательная функция для вызова Gemini API с изображениями. Задержка нужна для того, чтобы не превысить quota. Актуальные значения quota можно найти на нашей странице pricing. Сначала определите список возможных ключевых слов. Далее определите prompt, который поможет определить ключевые слова, описывающие одежду. В следующем prompt используется few-shot prompting для обучения LLM примерами того, как эти ключевые слова должны генерироваться и какие из них являются допустимыми. Сгенерируйте ключевые слова для каждого из изображений. К сожалению, несмотря на предоставление списка возможных ключевых слов, модель, по крайней мере в теории, может вернуть недействительное ключевое слово. Это может быть дубликат, например, "деним" вместо "джинсы", или оно может быть совершенно не связано ни с одним ключевым словом из списка. Чтобы решить эти проблемы, вы можете использовать embeddings для сопоставления ключевых слов с предопределенными и удаления несвязанных. Ключевые слова Embeddings 0 фланель [-0.010662257, -0.036850516, 0.041096948, -0.0... 1 шорты [0.033239827, 0.00013335898, 0.031834923, -0.0... 2 брюки [0.012273628, -0.024099143, 0.0032160978, -0.0... 3 платье [0.010586792, -0.023003917, -0.028866835, -0.0...

План урока

1. Настройка
2. Настройка вашего API key
3. Загрузка dataset
4. Генерация ключевых слов
5. Коррекция и дедупликация ключевых слов
6. Генерация подписей
7. Поиск конкретной одежды
8. Подготовка нашего dataset