О чём урок
Этот notebook пошагово демонстрирует использование PolarDB-PG в качестве векторной базы данных для OpenAI embeddings.
Этот notebook представляет собой сквозной процесс:
- Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API.
- Хранение embeddings в облачном экземпляре PolarDB-PG.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование PolarDB-PG для выполнения поиска ближайших соседей в созданной коллекции.
PolarDB-PG — это высокопроизводительная векторная база данных, использующая архитектуру разделения чтения и записи. Это облачная база данных, управляемая Alibaba Cloud, на 100% совместимая с PostgreSQL и обладающая высокой совместимостью с синтаксисом Oracle. Она поддерживает обработку массивного хранения и запросов векторных данных, значительно повышает эффективность векторных вычислений за счет оптимизации базовых алгоритмов выполнения, предоставляя пользователям быстрые, эластичные, высокопроизводительные, масштабируемые и безопасные и надежные услуги векторной базы данных. Кроме того, PolarDB-PG также поддерживает многомерные и мультимодальные пространственно-временные информационные движки и движки географической информации. В то же время PolarDB-PG оснащена полным функционалом OLAP и соглашениями об уровне обслуживания, что было признано и используется многими пользователями;
- Использование PolarDB-PG Cloud Vector Database. Нажмите здесь для быстрого развертывания.
Для целей этого упражнения нам необходимо подготовить несколько вещей:
- Облачный серверный экземпляр PolarDB-PG.
- Библиотека 'psycopg2' для взаимодействия с векторной базой данных. Любая другая клиентская библиотека postgresql также подойдет.
- Ключ OpenAI API.
Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:
Этот notebook, очевидно, требует пакеты openai и psycopg2, но есть и другие дополнительные библиотеки, которые мы будем использовать. Следующая команда устанавливает их все:
Подготовьте ваш ключ OpenAI API. Ключ OpenAI API используется для векторизации документов и запросов.
Если у вас нет ключа OpenAI API, вы можете получить его по адресу https://beta.openai.com/account/api-keys.
Как только вы получите свой ключ, пожалуйста, добавьте его в переменные окружения как OPENAI_API_KEY.
Если у вас есть сомнения по поводу установки ключа API через переменные окружения, пожалуйста, обратитесь к Лучшим практикам по безопасности…
План урока
- Что такое PolarDB-PG
- Варианты развертывания
- Предварительные условия
- Установка требований
- Подключение к PolarDB
- Индексация данных
- Загрузка данных
- Поиск данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.