Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 250 · Текст · ~5 мин

AnalyticDB как векторная база для эмбеддингов

Урок 250 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook шаг за шагом проведет вас по процессу использования AnalyticDB в качестве векторной базы данных для OpenAI embeddings.

Этот notebook описывает сквозной процесс, включающий:

  1. Использование предварительно рассчитанных embeddings, созданных с помощью OpenAI API.
  2. Хранение embeddings в облачном экземпляре AnalyticDB.
  3. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
  4. Использование AnalyticDB для выполнения поиска ближайших соседей в созданной коллекции.

AnalyticDB — это высокопроизводительная распределенная векторная база данных. Полностью совместимая с синтаксисом PostgreSQL, она легко используется. AnalyticDB — это управляемая Alibaba Cloud облачная база данных с высокопроизводительным движком векторных вычислений. Абсолютная простота использования (out-of-box experience) позволяет масштабировать обработку миллиардов векторов данных с богатым набором функций, включая алгоритмы индексирования, возможности работы со структурированными и неструктурированными данными, обновление в реальном времени, метрики расстояния, скалярную фильтрацию, поиск с "путешествием во времени" и т. д. Также она оснащена полной функциональностью OLAP базы данных и гарантией SLA для использования в производственной среде;

  • Использование облачной векторной базы данных AnalyticDB. Нажмите здесь для быстрого развертывания.

Для выполнения этого упражнения нам необходимо подготовить несколько вещей:

  1. Облачный серверный экземпляр AnalyticDB.
  2. Библиотека 'psycopg2' для взаимодействия с векторной базой данных. Подойдет любая другая клиентская библиотека postgresql.
  3. Ключ OpenAI API.

Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:

Этот notebook, очевидно, требует пакеты openai и psycopg2, но также есть и другие дополнительные библиотеки, которые мы будем использовать. Следующая команда устанавливает их все:

Ключ OpenAI API используется для векторизации документов и запросов.

Если у вас нет ключа OpenAI API, вы можете получить его по адресу https://beta.openai.com/account/api-keys.

Как только вы получите свой ключ, пожалуйста, добавьте его в переменные окружения как OPENAI_API_KEY.

Сначала добавьте его в переменные окружения. Или вы можете просто изменить параметры "psycopg2.connect" ниже

Подключение к запущенному экземпляру сервера AnalyticDB легко осуществляется с помощью официальной библиотеки Python:

Мы можем проверить соединение, выполнив любой доступный…

План урока

  1. Что такое AnalyticDB
  2. Варианты развертывания
  3. Предварительные условия
  4. Установка зависимостей
  5. Подготовьте ваш ключ OpenAI API
  6. Подключение к AnalyticDB
  7. Индексирование данных
  8. Загрузка данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды