Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 05 · Текст · ~5 мин

Поиск по картинкам и тексту одновременно

Урок 5 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Мультимодальный семантический поиск расширяет традиционные возможности поиска, используя как текстовые, так и визуальные модальности для получения более точных и контекстуально релевантных результатов.

Этот учебник поможет вам создать систему семантического поиска по изображениям. В этом примере пользователи смогут вводить текстовые поисковые запросы, такие как "Животные, но предпочтительно серый кот" или "Обувь Nike", и получать изображения, соответствующие запросу.

Он включает следующие шаги:

  1. Загрузить набор данных изображений
  2. Кодировать изображения и создавать их embedding
  3. Сохранить embeddings в векторном индексе
  4. Выполнять запросы к индексу

Давайте установим необходимые библиотеки и создадим клиент Cohere.

Сначала мы загружаем небольшой набор данных изображений для использования в семантическом поиске — набор данных содержит разнообразные изображения, такие как животные, товары для электронной коммерции и биржевые графики.

Далее мы определяем функцию для преобразования каждого изображения в Data URL в формате base64, а затем вызываем endpoint Embed для генерации embeddings для каждого изображения.

Теперь мы вычислим embeddings для каждого изображения и сохраним полный ответ в векторном индексе с помощью hnswlib.

Теперь мы можем выполнять запросы к индексу. Сначала давайте создадим функцию для извлечения изображений по заданному запросу.

Давайте попробуем первый запрос о кошках.

Пример набора данных также содержит изображения из других областей, таких как товары для электронной коммерции и биржевые графики. Давайте попробуем несколько запросов, чтобы увидеть, насколько мультимодальный поиск может быть полезен в этих областях.

Здесь мы отправляем запрос о товарах для электронной коммерции, например "Обувь Nike", и возвращаем 2 лучших изображения, соответствующие запросу.

А вот еще один запрос о биржевых графиках.

В этом учебнике мы создали мультимодальную систему семантического поиска, которая извлекает изображения на основе текстовых запросов. Мы продемонстрировали:

  1. Загрузку и кодирование набора данных изображений
  2. Создание и хранение image embeddings
  3. Создание векторного индекса для эффективного поиска
  4. Запросы к индексу с использованием естественного языка

Эта система демонстрирует мощь объединения текстовых и визуальных модальностей, обеспечивая более интуитивный и контекстуально релевантный поиск изображений.

План урока

  1. Настройка
  2. Шаг 1: Загрузка набора данных изображений
  3. Шаг 2: Кодирование изображений и создание их embedding
  4. Шаг 3: Вычисление embeddings и сохранение в векторном индексе
  5. Шаг 3: Сохранение embeddings в векторном индексе
  6. Шаг 4: Выполнение запросов к индексу

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды