О чём урок
Этот notebook проведет вас через простой процесс загрузки данных, создания для них embeddings, а затем их индексации и поиска с использованием различных векторных баз данных. Это частое требование для клиентов, которые хотят хранить и искать наши embeddings вместе со своими данными в безопасной среде для поддержки производственных сценариев использования, таких как чат-боты, тематическое моделирование и многое другое.
Векторная база данных — это база данных, предназначенная для хранения, управления и поиска векторов embeddings. Использование embeddings для кодирования неструктурированных данных (текст, аудио, видео и многое другое) в виде векторов для потребления моделями машинного обучения резко возросло в последние годы благодаря растущей эффективности ИИ в решении сценариев использования, связанных с естественным языком, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования.
Векторные базы данных позволяют предприятиям использовать многие из сценариев применения embeddings, которыми мы поделились в этом репозитории (например, ответы на вопросы, чат-боты и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие из наших клиентов используют embeddings для решения своих задач в небольших масштабах, но производительность и безопасность мешают им перейти к производственному использованию — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы создания embeddings для текстовых данных, их хранения в векторной базе данных и использования для семантического поиска.
Демонстрационный процесс включает:
- Настройка: Импорт пакетов и установка необходимых переменных
- Загрузка данных: Загрузка набора данных и создание для него embeddings с использованием OpenAI embeddings
- Chroma: Настройка: Здесь мы настроим Python-клиент для Chroma. Для получения дополнительной информации перейдите сюда
- Индексация данных: Мы создадим коллекции с векторами для заголовков и содержимого
- Поиск данных: Мы выполним несколько поисковых запросов, чтобы убедиться в работоспособности
После прохождения этого notebook у вас должно появиться базовое понимание того, как настраивать и использовать векторные базы данных, и вы…
План урока
- Что такое векторная база данных
- Зачем использовать векторную базу данных
- Демонстрационный процесс
- Настройка
- Загрузка данных
- Инициализация клиента Chroma
- Создание коллекций
- Заполнение коллекций
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.