О чём урок
Мультимодальный семантический поиск расширяет традиционные возможности поиска, используя как текстовые, так и визуальные модальности для получения более точных и контекстуально релевантных результатов.
Этот учебник поможет вам создать систему семантического поиска по изображениям. В этом примере пользователи смогут вводить текстовые поисковые запросы, такие как "Животные, но предпочтительно серый кот" или "Обувь Nike", и получать изображения, соответствующие запросу.
Он включает следующие шаги:
- Загрузить набор данных изображений
- Кодировать изображения и создавать их embedding
- Сохранить embeddings в векторном индексе
- Выполнять запросы к индексу
Давайте установим необходимые библиотеки и создадим клиент Cohere.
Сначала мы загружаем небольшой набор данных изображений для использования в семантическом поиске — набор данных содержит разнообразные изображения, такие как животные, товары для электронной коммерции и биржевые графики.
Далее мы определяем функцию для преобразования каждого изображения в Data URL в формате base64, а затем вызываем endpoint Embed для генерации embeddings для каждого изображения.
Теперь мы вычислим embeddings для каждого изображения и сохраним полный ответ в векторном индексе с помощью hnswlib.
Теперь мы можем выполнять запросы к индексу. Сначала давайте создадим функцию для извлечения изображений по заданному запросу.
Давайте попробуем первый запрос о кошках.
Пример набора данных также содержит изображения из других областей, таких как товары для электронной коммерции и биржевые графики. Давайте попробуем несколько запросов, чтобы увидеть, насколько мультимодальный поиск может быть полезен в этих областях.
Здесь мы отправляем запрос о товарах для электронной коммерции, например "Обувь Nike", и возвращаем 2 лучших изображения, соответствующие запросу.
А вот еще один запрос о биржевых графиках.
В этом учебнике мы создали мультимодальную систему семантического поиска, которая извлекает изображения на основе текстовых запросов. Мы продемонстрировали:
- Загрузку и кодирование набора данных изображений
- Создание и хранение image embeddings
- Создание векторного индекса для эффективного поиска
- Запросы к индексу с использованием естественного языка
Эта система демонстрирует мощь объединения текстовых и визуальных модальностей, обеспечивая более интуитивный и контекстуально релевантный поиск изображений.
План урока
- Настройка
- Шаг 1: Загрузка набора данных изображений
- Шаг 2: Кодирование изображений и создание их embedding
- Шаг 3: Вычисление embeddings и сохранение в векторном индексе
- Шаг 3: Сохранение embeddings в векторном индексе
- Шаг 4: Выполнение запросов к индексу
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.