О чём урок
Этот notebook проведет вас через простой процесс загрузки данных, их embedding, а затем индексации и поиска с использованием различных векторных баз данных. Это распространенное требование для клиентов, которые хотят хранить и искать наши embeddings со своими собственными данными в безопасной среде для поддержки производственных сценариев использования, таких как chatbots, topic modelling и другие.
Векторная база данных — это база данных, предназначенная для хранения, управления и поиска embedding векторов. Использование embeddings для кодирования неструктурированных данных (текста, аудио, видео и прочего) в виде векторов для потребления моделями машинного обучения резко возросло в последние годы благодаря растущей эффективности AI в решении сценариев использования, связанных с обработкой естественного языка, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования.
Векторные базы данных позволяют предприятиям использовать многие из сценариев применения embeddings, которыми мы поделились в этом repo (например, ответы на вопросы, chatbots и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие из наших клиентов используют embeddings для решения своих задач в небольшом масштабе, но производительность и безопасность мешают им перейти к production — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы embedding текстовых данных, их хранения в векторной базе данных и использования для semantic search.
Демонстрационный процесс включает:
- Настройка: Импорт пакетов и установка необходимых переменных
- Загрузка данных: Загрузка набора данных и их embedding с использованием OpenAI embeddings
- Pinecone Настройка: Здесь мы настроим Python клиент для Pinecone. Для получения дополнительной информации перейдите сюда
- Индексация данных: Мы создадим index с namespaces для заголовков и содержимого
- Поиск данных: Мы протестируем оба namespaces с помощью поисковых запросов, чтобы убедиться в их работоспособности
После того как вы пройдете этот notebook, у вас должно появиться базовое понимание того, как настраивать и использовать векторные базы данных, и вы сможете…
План урока
- Что такое векторная база данных
- Зачем использовать векторную базу данных
- Демонстрационный процесс
- Настройка
- Загрузка данных
- Pinecone
- Создание Index
- Поиск данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.