О чём урок
Этот notebook шаг за шагом проведет вас по процессу использования Qdrant в качестве векторной базы данных для OpenAI embeddings. Qdrant — это высокопроизводительная база данных для векторного поиска, написанная на Rust. Она предлагает RESTful и gRPC API для управления вашими embeddings. Существует официальный Python qdrant-client, который упрощает интеграцию с вашими приложениями.
Этот notebook представляет собой сквозной процесс, включающий:
- Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API.
- Хранение embeddings в локальном экземпляре Qdrant.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование Qdrant для выполнения поиска ближайших соседей в созданной коллекции.
Qdrant — это Open Source векторная база данных, которая позволяет хранить нейронные embeddings вместе с метаданными, также известными как payload. Payloads доступны не только для хранения дополнительных атрибутов конкретной точки, но также могут использоваться для фильтрации. Qdrant предлагает уникальный механизм фильтрации, встроенный в фазу векторного поиска, что делает его действительно эффективным.
Qdrant может быть запущен различными способами, в зависимости от целевой нагрузки на приложение его можно разместить:
- Локально или on premise, с использованием Docker контейнеров
- В кластере Kubernetes, с использованием Helm chart
- Используя Qdrant Cloud
Qdrant предоставляет как RESTful, так и gRPC API, что упрощает интеграцию, независимо от используемого вами языка программирования. Однако существуют официальные клиенты для большинства популярных языков, и если вы используете Python, то клиентская библиотека Qdrant для Python может быть лучшим выбором.
Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:
Этот notebook, очевидно, требует наличия пакетов openai и qdrant-client, но мы также будем использовать некоторые другие дополнительные библиотеки. Следующая команда устанавливает их все:
OpenAI API key используется для векторизации документов и запросов.
Если у вас нет OpenAI API key, вы можете получить его по адресу https://beta.openai.com/account/api-keys.
Как только вы получите свой ключ, добавьте его в переменные окружения как OPENAI_API_KEY, выполнив следующую команду:
Подключение к запущенному экземпляру…
План урока
- Что такое Qdrant
- Варианты развертывания
- Интеграция
- Установка зависимостей
- Подготовьте ваш OpenAI API key
- Подключение к Qdrant
- Загрузка данных
- Индексация данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.