О чём урок
Этот notebook шаг за шагом проведет вас по процессу использования AnalyticDB в качестве векторной базы данных для OpenAI embeddings.
Этот notebook описывает сквозной процесс, включающий:
- Использование предварительно рассчитанных embeddings, созданных с помощью OpenAI API.
- Хранение embeddings в облачном экземпляре AnalyticDB.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование AnalyticDB для выполнения поиска ближайших соседей в созданной коллекции.
AnalyticDB — это высокопроизводительная распределенная векторная база данных. Полностью совместимая с синтаксисом PostgreSQL, она легко используется. AnalyticDB — это управляемая Alibaba Cloud облачная база данных с высокопроизводительным движком векторных вычислений. Абсолютная простота использования (out-of-box experience) позволяет масштабировать обработку миллиардов векторов данных с богатым набором функций, включая алгоритмы индексирования, возможности работы со структурированными и неструктурированными данными, обновление в реальном времени, метрики расстояния, скалярную фильтрацию, поиск с "путешествием во времени" и т. д. Также она оснащена полной функциональностью OLAP базы данных и гарантией SLA для использования в производственной среде;
- Использование облачной векторной базы данных AnalyticDB. Нажмите здесь для быстрого развертывания.
Для выполнения этого упражнения нам необходимо подготовить несколько вещей:
- Облачный серверный экземпляр AnalyticDB.
- Библиотека 'psycopg2' для взаимодействия с векторной базой данных. Подойдет любая другая клиентская библиотека postgresql.
- Ключ OpenAI API.
Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:
Этот notebook, очевидно, требует пакеты openai и psycopg2, но также есть и другие дополнительные библиотеки, которые мы будем использовать. Следующая команда устанавливает их все:
Ключ OpenAI API используется для векторизации документов и запросов.
Если у вас нет ключа OpenAI API, вы можете получить его по адресу https://beta.openai.com/account/api-keys.
Как только вы получите свой ключ, пожалуйста, добавьте его в переменные окружения как OPENAI_API_KEY.
Сначала добавьте его в переменные окружения. Или вы можете просто изменить параметры "psycopg2.connect" ниже
Подключение к запущенному экземпляру сервера AnalyticDB легко осуществляется с помощью официальной библиотеки Python:
Мы можем проверить соединение, выполнив любой доступный…
План урока
- Что такое AnalyticDB
- Варианты развертывания
- Предварительные условия
- Установка зависимостей
- Подготовьте ваш ключ OpenAI API
- Подключение к AnalyticDB
- Индексирование данных
- Загрузка данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.