О чём урок
Этот notebook шаг за шагом проведет вас по процессу использования Hologres в качестве векторной базы данных для OpenAI embeddings. Этот notebook описывает сквозной процесс, включающий: Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API. Хранение embeddings в облачном экземпляре Hologres. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API. Использование Hologres для выполнения поиска ближайших соседей в созданной коллекции. Предоставление большим языковым моделям результатов поиска в качестве контекста в prompt engineering. Hologres — это унифицированный сервис хранилища данных реального времени, разработанный Alibaba Cloud. Вы можете использовать Hologres для записи, обновления, обработки и анализа больших объемов данных в реальном времени. Hologres поддерживает стандартный синтаксис SQL, совместим с PostgreSQL и поддерживает большинство функций PostgreSQL. Hologres поддерживает онлайн-аналитическую обработку (OLAP) и ad hoc анализ для данных объемом до петабайт, а также предоставляет высокопроизводительные онлайн-сервисы данных с низкой задержкой. Hologres поддерживает детализированную изоляцию нескольких рабочих нагрузок и возможности безопасности корпоративного уровня. Hologres глубоко интегрирован с MaxCompute, Realtime Compute for Apache Flink и DataWorks, предоставляя комплексные онлайн- и офлайн-решения для хранения данных для предприятий. Hologres предоставляет функциональность векторной базы данных, используя Proxima. Proxima — это высокопроизводительная программная библиотека, разработанная Alibaba DAMO Academy. Она позволяет искать ближайших соседей векторов. Proxima обеспечивает более высокую стабильность и производительность, чем аналогичное открытое программное обеспечение, такое как Facebook AI Similarity Search (Faiss). Proxima предоставляет базовые модули, которые демонстрируют лидирующую в отрасли производительность и эффекты, и позволяет искать похожие изображения, видео или человеческие лица. Hologres глубоко интегрирован с Proxima для предоставления высокопроизводительного сервиса векторного поиска. Нажмите здесь для быстрого развертывания хранилища данных Hologres. Для выполнения этого упражнения нам необходимо подготовить несколько вещей: Облачный серверный экземпляр Hologres. Библиотека 'psycopg2-binary' для взаимодействия с векторной базой данных. Любая другая клиентская библиотека PostgreSQL также подойдет. Ключ OpenAI API.
План урока
- Что такое Hologres
- Варианты развертывания
- Предварительные условия
- Установка требований
- Подготовка ключа OpenAI API
- Подключение к Hologres
- Загрузка данных
- Создание таблицы и векторного индекса Proxima
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.