О чём урок
Этот notebook шаг за шагом проведет вас по процессу использования Qdrant в качестве векторной базы данных для OpenAI embeddings. Qdrant — это высокопроизводительная база данных для векторного поиска, написанная на Rust. Она предлагает RESTful и gRPC API для управления вашими embeddings. Существует официальный Python qdrant-client, который упрощает интеграцию с вашими приложениями. Этот notebook представляет собой сквозной процесс, включающий: Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API. Хранение embeddings в локальном экземпляре Qdrant. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API. Использование Qdrant для выполнения поиска ближайших соседей в созданной коллекции. Qdrant — это Open Source векторная база данных, которая позволяет хранить нейронные embeddings вместе с метаданными, также известными как payload. Payloads доступны не только для хранения дополнительных атрибутов конкретной точки, но также могут использоваться для фильтрации. Qdrant предлагает уникальный механизм фильтрации, встроенный в фазу векторного поиска, что делает его действительно эффективным. Qdrant может быть запущен различными способами, в зависимости от целевой нагрузки на приложение его можно разместить: Локально или on premise, с использованием Docker контейнеров В кластере Kubernetes, с использованием Helm chart Используя Qdrant Cloud Qdrant предоставляет как RESTful, так и gRPC API, что упрощает интеграцию, независимо от используемого вами языка программирования. Однако существуют официальные клиенты для большинства популярных языков, и если вы используете Python, то клиентская библиотека Qdrant для Python может быть лучшим выбором. Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl: Этот notebook, очевидно, требует наличия пакетов openai и qdrant-client, но мы также будем использовать некоторые другие дополнительные библиотеки. Следующая команда устанавливает их все: OpenAI API key используется для векторизации документов и запросов. Если у вас нет OpenAI API key, вы можете получить его по адресу https://beta.openai.com/account/api-keys.
План урока
- Что такое Qdrant
- Варианты развертывания
- Интеграция
- Установка зависимостей
- Подготовьте ваш OpenAI API key
- Подключение к Qdrant
- Загрузка данных
- Индексация данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.