Redis как векторная база

О чём урок

Этот notebook представляет собой введение в использование Redis в качестве векторной базы данных с OpenAI embeddings. Redis — это масштабируемая база данных реального времени, которую можно использовать как векторную базу данных при применении модуля RediSearch. Модуль RediSearch позволяет индексировать и искать векторы в Redis. Этот notebook покажет, как использовать модуль RediSearch для индексации и поиска векторов, созданных с помощью OpenAI API и хранящихся в Redis. Большинство разработчиков, работающих с веб-сервисами, вероятно, знакомы с Redis. По своей сути Redis — это open-source хранилище типа ключ-значение, которое может использоваться как кэш, брокер сообщений и база данных. Разработчики выбирают Redis, потому что он быстрый, обладает обширной экосистемой клиентских библиотек и годами развертывался крупными предприятиями. В дополнение к традиционным способам использования Redis. Redis также предлагает модули Redis, которые позволяют расширять Redis новыми типами данных и командами. Примеры модулей включают RedisJSON, RedisTimeSeries, RedisBloom и RediSearch. RediSearch — это модуль Redis, который обеспечивает выполнение запросов, вторичное индексирование, полнотекстовый поиск и векторный поиск для Redis. Чтобы использовать RediSearch, сначала необходимо объявить индексы для ваших данных Redis. Затем вы можете использовать клиенты RediSearch для запроса этих данных. Для получения дополнительной информации о наборе функций RediSearch см. README или документацию RediSearch. Существует несколько способов развертывания Redis. Для локальной разработки самый быстрый метод — использовать Docker-контейнер Redis Stack, который мы будем использовать здесь. Redis Stack содержит ряд модулей Redis, которые можно использовать вместе для создания быстрого, мультимодельного хранилища данных и движка запросов. Для производственных сценариев использования самый простой способ начать работу — это воспользоваться сервисом Redis Cloud. Redis Cloud — это полностью управляемый сервис Redis. Вы также можете развернуть Redis на собственной инфраструктуре, используя Redis Enterprise. Redis Enterprise — это полностью управляемый сервис Redis, который может быть развернут в Kubernetes, локально или в облаке. Кроме того, каждый крупный облачный провайдер (AWS Marketplace, Google Marketplace или Azure Marketplace) предлагает Redis Enterprise в рамках своих предложений на маркетплейсе.

План урока

1. Что такое Redis?
2. Что такое RediSearch?
3. Варианты развертывания
4. Предварительные требования
5. Запуск Redis
6. Установка требований
7. Подготовка вашего OpenAI API key
8. Загрузка данных