Поиск по эмбеддингам в Pinecone

О чём урок

Этот notebook проведет вас через простой процесс загрузки данных, их embedding, а затем индексации и поиска с использованием различных векторных баз данных. Это распространенное требование для клиентов, которые хотят хранить и искать наши embeddings со своими собственными данными в безопасной среде для поддержки производственных сценариев использования, таких как chatbots, topic modelling и другие. Векторная база данных — это база данных, предназначенная для хранения, управления и поиска embedding векторов. Использование embeddings для кодирования неструктурированных данных (текста, аудио, видео и прочего) в виде векторов для потребления моделями машинного обучения резко возросло в последние годы благодаря растущей эффективности AI в решении сценариев использования, связанных с обработкой естественного языка, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования. Векторные базы данных позволяют предприятиям использовать многие из сценариев применения embeddings, которыми мы поделились в этом repo (например, ответы на вопросы, chatbots и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие из наших клиентов используют embeddings для решения своих задач в небольшом масштабе, но производительность и безопасность мешают им перейти к production — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы embedding текстовых данных, их хранения в векторной базе данных и использования для semantic search. Демонстрационный процесс включает: Настройка: Импорт пакетов и установка необходимых переменных данных: набора данных и их embedding с использованием OpenAI embeddings Pinecone Настройка: Здесь мы настроим Python клиент для Pinecone.

План урока

1. Что такое векторная база данных
2. Зачем использовать векторную базу данных
3. Демонстрационный процесс
4. Настройка
5. Загрузка данных
6. Pinecone
7. Создание Index
8. Поиск данных