Поиск по картинкам и тексту одновременно

О чём урок

Мультимодальный семантический поиск расширяет традиционные возможности поиска, используя как текстовые, так и визуальные модальности для получения более точных и контекстуально релевантных результатов. Этот учебник поможет вам создать систему семантического поиска по изображениям. В этом примере пользователи смогут вводить текстовые поисковые запросы, такие как "Животные, но предпочтительно серый кот" или "Обувь Nike", и получать изображения, соответствующие запросу. Он включает следующие шаги: Загрузить набор данных изображений Кодировать изображения и создавать их embedding Сохранить embeddings в векторном индексе Выполнять запросы к индексу Давайте установим необходимые библиотеки и создадим клиент Cohere. Сначала мы загружаем небольшой набор данных изображений для использования в семантическом поиске — набор данных содержит разнообразные изображения, такие как животные, товары для электронной коммерции и биржевые графики. Далее мы определяем функцию для преобразования каждого изображения в Data URL в формате base64, а затем вызываем endpoint Embed для генерации embeddings для каждого изображения. Теперь мы вычислим embeddings для каждого изображения и сохраним полный ответ в векторном индексе с помощью hnswlib. Теперь мы можем выполнять запросы к индексу. Сначала давайте создадим функцию для извлечения изображений по заданному запросу. Давайте попробуем первый запрос о кошках. Пример набора данных также содержит изображения из других областей, таких как товары для электронной коммерции и биржевые графики. Давайте попробуем несколько запросов, чтобы увидеть, насколько мультимодальный поиск может быть полезен в этих областях. Здесь мы отправляем запрос о товарах для электронной коммерции, например "Обувь Nike", и возвращаем 2 лучших изображения, соответствующие запросу. А вот еще один запрос о биржевых графиках. В этом учебнике мы создали мультимодальную систему семантического поиска, которая извлекает изображения на основе текстовых запросов. Мы продемонстрировали: Загрузку и кодирование набора данных изображений Создание и хранение image embeddings Создание векторного индекса для эффективного поиска Запросы к индексу с использованием естественного языка Эта система демонстрирует мощь объединения текстовых и визуальных модальностей, обеспечивая более интуитивный и контекстуально релевантный поиск изображений.

План урока

1. Настройка
2. Шаг 1: Загрузка набора данных изображений
3. Шаг 2: Кодирование изображений и создание их embedding
4. Шаг 3: Вычисление embeddings и сохранение в векторном индексе
5. Шаг 3: Сохранение embeddings в векторном индексе
6. Шаг 4: Выполнение запросов к индексу