О чём урок
Этот notebook подготовлен для сценария, в котором:
- Ваши данные не векторизованы
- Вы хотите запустить Q&A (узнать больше) на ваших данных на основе endpoint'а OpenAI completions.
- Вы хотите использовать Weaviate с модулем OpenAI (text2vec-openai) для автоматической генерации векторных embeddings.
Этот notebook проведет вас через простой процесс настройки экземпляра Weaviate, подключения к нему (с использованием OpenAI API key), настройки схемы данных, импорта данных (что автоматически сгенерирует векторные embeddings для ваших данных) и запуска системы вопросов и ответов.
Weaviate — это open-source векторный поисковый движок, который хранит объекты данных вместе с их векторами. Это позволяет комбинировать векторный поиск со структурированной фильтрацией.
Weaviate использует алгоритмы KNN для создания векторооптимизированного индекса, что позволяет вашим запросам выполняться чрезвычайно быстро. Узнайте больше здесь.
Weaviate позволяет использовать ваши любимые ML-модели и бесшовно масштабироваться до миллиардов объектов данных.
Независимо от вашего сценария или производственной среды, у Weaviate есть подходящий вариант для вас. Вы можете развернуть Weaviate в следующих конфигурациях:
- Self-hosted – вы можете развернуть Weaviate с помощью Docker локально или на любом сервере по вашему выбору.
- SaaS – вы можете использовать Weaviate Cloud Service (WCS) для размещения ваших экземпляров Weaviate.
- Hybrid-SaaS – вы можете развернуть Weaviate в вашем собственном частном Cloud Service
Weaviate предлагает четыре клиентские библиотеки, которые позволяют взаимодействовать из ваших приложений:
- Python
- JavaScript
- Java
- Go
Кроме того, Weaviate имеет REST-слой. По сути, вы можете вызывать Weaviate из любого языка, поддерживающего REST-запросы.
Демонстрационный процесс включает:
- Настройка предварительных условий: Создайте экземпляр Weaviate и установите необходимые библиотеки
- Подключение: Подключитесь к вашему экземпляру Weaviate
- Настройка схемы: Настройте схему ваших данных Примечание: Здесь мы можем определить, какую OpenAI Embedding Model использовать
- Примечание: Здесь мы можем настроить, какие свойства индексировать
- Примечание: Процесс импорта автоматически проиндексирует ваши данные — на основе конфигурации в схеме
- Примечание: Вам не нужно явно векторизовать ваши данные, Weaviate будет взаимодействовать с OpenAI, чтобы сделать это за вас
- Примечание: Вам не нужно явно векторизовать…
План урока
- Что такое Weaviate
- Варианты развертывания
- Языки программирования
- Демонстрационный процесс
- Модуль OpenAI в Weaviate
- Нет необходимости вручную векторизовать данные
- Предварительные условия
- Создание экземпляра Weaviate
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.