Поиск по эмбеддингам в Redis

О чём урок

Этот notebook проведет вас через простой процесс загрузки данных, их embedding, а затем индексации и поиска с использованием различных векторных баз данных. Это распространенное требование для клиентов, желающих хранить и искать наши embeddings со своими собственными данными в безопасной среде для поддержки производственных сценариев использования, таких как чат-боты, тематическое моделирование и многое другое. Векторная база данных — это база данных, предназначенная для хранения, управления и поиска векторов embedding. Использование embeddings для кодирования неструктурированных данных (текста, аудио, видео и прочего) в виде векторов для потребления моделями машинного обучения резко возросло в последние годы благодаря растущей эффективности ИИ в решении задач, связанных с естественным языком, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования. Векторные базы данных позволяют предприятиям использовать многие сценарии применения embeddings, которыми мы поделились в этом repo (например, ответы на вопросы, чат-боты и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие наши клиенты используют embeddings для решения своих задач в небольших масштабах, но производительность и безопасность препятствуют их переходу в production — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы embedding текстовых данных, их хранения в векторной базе данных и использования для семантического поиска. Демонстрационный процесс включает: Настройка: Импорт пакетов и установка необходимых переменных данных: набора данных и его embedding с использованием OpenAI embeddings Redis Настройка: Настройка клиента Redis-Py. Для получения дополнительной информации перейдите сюда Индексация данных: Создание поискового индекса для векторного поиска и гибридного поиска (векторный + полнотекстовый поиск) по всем доступным полям. Поиск данных: Выполнение нескольких примеров запросов с различными целями. После прохождения этого notebook вы должны получить базовое представление о том, как настраивать и использовать векторные базы данных, и сможете перейти к более сложным сценариям использования наших embeddings.

План урока

1. Что такое векторная база данных
2. Зачем использовать векторную базу данных
3. Демонстрационный процесс
4. Настройка
5. Загрузка данных
6. Создание поискового индекса
7. Загрузка документов в индекс
8. Выполнение поисковых запросов