Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 276 · Текст · ~5 мин

Qdrant как векторная база для эмбеддингов

Урок 276 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook шаг за шагом проведет вас по процессу использования Qdrant в качестве векторной базы данных для OpenAI embeddings. Qdrant — это высокопроизводительная база данных для векторного поиска, написанная на Rust. Она предлагает RESTful и gRPC API для управления вашими embeddings. Существует официальный Python qdrant-client, который упрощает интеграцию с вашими приложениями.

Этот notebook представляет собой сквозной процесс, включающий:

  1. Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API.
  2. Хранение embeddings в локальном экземпляре Qdrant.
  3. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
  4. Использование Qdrant для выполнения поиска ближайших соседей в созданной коллекции.

Qdrant — это Open Source векторная база данных, которая позволяет хранить нейронные embeddings вместе с метаданными, также известными как payload. Payloads доступны не только для хранения дополнительных атрибутов конкретной точки, но также могут использоваться для фильтрации. Qdrant предлагает уникальный механизм фильтрации, встроенный в фазу векторного поиска, что делает его действительно эффективным.

Qdrant может быть запущен различными способами, в зависимости от целевой нагрузки на приложение его можно разместить:

  • Локально или on premise, с использованием Docker контейнеров
  • В кластере Kubernetes, с использованием Helm chart
  • Используя Qdrant Cloud

Qdrant предоставляет как RESTful, так и gRPC API, что упрощает интеграцию, независимо от используемого вами языка программирования. Однако существуют официальные клиенты для большинства популярных языков, и если вы используете Python, то клиентская библиотека Qdrant для Python может быть лучшим выбором.

Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:

Этот notebook, очевидно, требует наличия пакетов openai и qdrant-client, но мы также будем использовать некоторые другие дополнительные библиотеки. Следующая команда устанавливает их все:

OpenAI API key используется для векторизации документов и запросов.

Если у вас нет OpenAI API key, вы можете получить его по адресу https://beta.openai.com/account/api-keys.

Как только вы получите свой ключ, добавьте его в переменные окружения как OPENAI_API_KEY, выполнив следующую команду:

Подключение к запущенному экземпляру…

План урока

  1. Что такое Qdrant
  2. Варианты развертывания
  3. Интеграция
  4. Установка зависимостей
  5. Подготовьте ваш OpenAI API key
  6. Подключение к Qdrant
  7. Загрузка данных
  8. Индексация данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды