Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 291 · Текст · ~5 мин

Weaviate с векторизацией OpenAI: гибридный поиск

Урок 291 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook подготовлен для сценария, когда:

  • Ваши данные не векторизованы
  • Вы хотите выполнить Hybrid Search (узнать больше) по вашим данным
  • Вы хотите использовать Weaviate с модулем OpenAI (text2vec-openai), чтобы генерировать для вас vector embeddings.

Этот notebook проведет вас через простой процесс настройки экземпляра Weaviate, подключения к нему (с помощью OpenAI API key), конфигурирования схемы данных, импорта данных (который автоматически сгенерирует vector embeddings для ваших данных) и выполнения hybrid search (смешение векторного и BM25 поиска).

Это распространенное требование для клиентов, которые хотят хранить и искать наши embeddings со своими данными в безопасной среде для поддержки производственных сценариев использования, таких как chatbots, topic modelling и многое другое.

Weaviate — это open-source vector search engine, который хранит объекты данных вместе с их векторами. Это позволяет комбинировать vector search со структурированной фильтрацией.

Weaviate использует KNN algorithms для создания vector-optimized index, что позволяет вашим запросам выполняться чрезвычайно быстро. Узнайте больше здесь.

Weaviate позволяет использовать ваши любимые ML-models и бесшовно масштабироваться до миллиардов объектов данных.

Независимо от вашего сценария или production setup, Weaviate предлагает вариант для вас. Вы можете развернуть Weaviate в следующих конфигурациях:

  • Self-hosted – вы можете развернуть Weaviate с docker локально или на любом сервере, который вы хотите.
  • SaaS – вы можете использовать Weaviate Cloud Service (WCS) для размещения ваших экземпляров Weaviate.
  • Hybrid-SaaS – вы можете развернуть Weaviate в своем собственном частном Cloud Service

Weaviate предлагает четыре клиентские библиотеки, которые позволяют взаимодействовать из ваших приложений:

  • Python
  • JavaScript
  • Java
  • Go

Кроме того, Weaviate имеет REST layer. По сути, вы можете вызывать Weaviate из любого языка, который поддерживает REST запросы.

Демонстрационный процесс включает:

  • Настройка предварительных условий: Создать экземпляр Weaviate и установить необходимые библиотеки
  • Подключение: Подключиться к вашему экземпляру Weaviate
  • Конфигурация схемы: Сконфигурировать схему ваших данных Примечание: Здесь мы можем определить, какую OpenAI Embedding Model использовать
  • Примечание: Здесь мы можем сконфигурировать, какие свойства индексировать
  • Примечание: Процесс импорта автоматически проиндексирует ваши данные…

План урока

  1. Что такое Weaviate
  2. Варианты развертывания
  3. Языки программирования
  4. Демонстрационный процесс
  5. Модуль OpenAI в Weaviate
  6. Нет необходимости вручную векторизовать данные
  7. Предварительные условия
  8. Создание экземпляра Weaviate

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды