Гибридный векторный поиск в Redis

О чём урок

Этот notebook представляет собой введение в использование Redis в качестве векторной базы данных с OpenAI embeddings и выполнение гибридных запросов, которые объединяют VSS и лексический поиск с помощью функционала Redis Query and Search. Redis — это масштабируемая база данных реального времени, которую можно использовать как векторную базу данных при применении модуля RediSearch. Функционал Redis Query and Search позволяет индексировать и искать векторы в Redis. Этот notebook покажет, как использовать Redis Query and Search для индексации и поиска векторов, созданных с помощью OpenAI API и хранящихся в Redis. Гибридные запросы объединяют векторное сходство с традиционными возможностями фильтрации Redis Query and Search по данным GEO, NUMERIC, TAG или TEXT, что упрощает код приложения. Распространенный пример гибридного запроса в сценарии электронной коммерции — поиск товаров, визуально похожих на заданное изображение запроса, ограниченный товарами, доступными в определенной GEO-локации и в заданном ценовом диапазоне. Прежде чем начать этот проект, необходимо настроить следующее: запустить базу данных Redis с RediSearch (redis-stack) установить библиотеки Redis-py получить ваш OpenAI API key =========================================================== Чтобы упростить этот пример, мы будем использовать docker-контейнер Redis Stack, который можно запустить следующим образом: Это также включает GUI RedisInsight для управления вашей базой данных Redis, который вы можете просмотреть по адресу http://localhost:8001 после запуска docker-контейнера. Все настроено и готово к работе! Далее мы импортируем и создаем наш клиент для связи с только что созданной базой данных Redis. Redis-Py — это python-клиент для связи с Redis. Мы будем использовать его для связи с нашей базой данных Redis-stack. =========================================================== OpenAI API key используется для векторизации данных запросов. Если у вас нет OpenAI API key, вы можете получить его по адресу https://beta.openai.com/account/api-keys. После получения ключа, пожалуйста, добавьте его в переменные окружения как OPENAI_API_KEY, используя следующую команду: В этом разделе мы загрузим и очистим набор данных электронной коммерции.

План урока

1. Предварительные требования
2. Запуск Redis
3. Установка требований
4. Подготовьте ваш OpenAI API key
5. Загрузка данных
6. Подключение к Redis
7. Создание поискового индекса в Redis
8. Генерация OpenAI Embeddings и загрузка документов в индекс