Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 261 · Текст · ~5 мин

Hologres как векторная база для эмбеддингов

Урок 261 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook шаг за шагом проведет вас по процессу использования Hologres в качестве векторной базы данных для OpenAI embeddings.

Этот notebook описывает сквозной процесс, включающий:

  1. Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API.
  2. Хранение embeddings в облачном экземпляре Hologres.
  3. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
  4. Использование Hologres для выполнения поиска ближайших соседей в созданной коллекции.
  5. Предоставление большим языковым моделям результатов поиска в качестве контекста в prompt engineering.

Hologres — это унифицированный сервис хранилища данных реального времени, разработанный Alibaba Cloud. Вы можете использовать Hologres для записи, обновления, обработки и анализа больших объемов данных в реальном времени. Hologres поддерживает стандартный синтаксис SQL, совместим с PostgreSQL и поддерживает большинство функций PostgreSQL. Hologres поддерживает онлайн-аналитическую обработку (OLAP) и ad hoc анализ для данных объемом до петабайт, а также предоставляет высокопроизводительные онлайн-сервисы данных с низкой задержкой. Hologres поддерживает детализированную изоляцию нескольких рабочих нагрузок и возможности безопасности корпоративного уровня. Hologres глубоко интегрирован с MaxCompute, Realtime Compute for Apache Flink и DataWorks, предоставляя комплексные онлайн- и офлайн-решения для хранения данных для предприятий.

Hologres предоставляет функциональность векторной базы данных, используя Proxima.

Proxima — это высокопроизводительная программная библиотека, разработанная Alibaba DAMO Academy. Она позволяет искать ближайших соседей векторов. Proxima обеспечивает более высокую стабильность и производительность, чем аналогичное открытое программное обеспечение, такое как Facebook AI Similarity Search (Faiss). Proxima предоставляет базовые модули, которые демонстрируют лидирующую в отрасли производительность и эффекты, и позволяет искать похожие изображения, видео или человеческие лица. Hologres глубоко интегрирован с Proxima для предоставления высокопроизводительного сервиса векторного поиска.

  • Нажмите здесь для быстрого развертывания хранилища данных Hologres.

Для выполнения этого упражнения нам необходимо подготовить несколько вещей:

  1. Облачный серверный экземпляр Hologres.
  2. Библиотека 'psycopg2-binary' для взаимодействия с векторной базой данных. Любая другая клиентская библиотека PostgreSQL также подойдет.
  3. Ключ OpenAI API.

Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:

Этот notebook, очевидно, требует пакетов openai и…

План урока

  1. Что такое Hologres
  2. Варианты развертывания
  3. Предварительные условия
  4. Установка требований
  5. Подготовка ключа OpenAI API
  6. Подключение к Hologres
  7. Загрузка данных
  8. Создание таблицы и векторного индекса Proxima

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды