О чём урок
Этот notebook подготовлен для сценария, когда:
- Ваши данные не векторизованы
- Вы хотите выполнить Hybrid Search (узнать больше) по вашим данным
- Вы хотите использовать Weaviate с модулем OpenAI (text2vec-openai), чтобы генерировать для вас vector embeddings.
Этот notebook проведет вас через простой процесс настройки экземпляра Weaviate, подключения к нему (с помощью OpenAI API key), конфигурирования схемы данных, импорта данных (который автоматически сгенерирует vector embeddings для ваших данных) и выполнения hybrid search (смешение векторного и BM25 поиска).
Это распространенное требование для клиентов, которые хотят хранить и искать наши embeddings со своими данными в безопасной среде для поддержки производственных сценариев использования, таких как chatbots, topic modelling и многое другое.
Weaviate — это open-source vector search engine, который хранит объекты данных вместе с их векторами. Это позволяет комбинировать vector search со структурированной фильтрацией.
Weaviate использует KNN algorithms для создания vector-optimized index, что позволяет вашим запросам выполняться чрезвычайно быстро. Узнайте больше здесь.
Weaviate позволяет использовать ваши любимые ML-models и бесшовно масштабироваться до миллиардов объектов данных.
Независимо от вашего сценария или production setup, Weaviate предлагает вариант для вас. Вы можете развернуть Weaviate в следующих конфигурациях:
- Self-hosted – вы можете развернуть Weaviate с docker локально или на любом сервере, который вы хотите.
- SaaS – вы можете использовать Weaviate Cloud Service (WCS) для размещения ваших экземпляров Weaviate.
- Hybrid-SaaS – вы можете развернуть Weaviate в своем собственном частном Cloud Service
Weaviate предлагает четыре клиентские библиотеки, которые позволяют взаимодействовать из ваших приложений:
- Python
- JavaScript
- Java
- Go
Кроме того, Weaviate имеет REST layer. По сути, вы можете вызывать Weaviate из любого языка, который поддерживает REST запросы.
Демонстрационный процесс включает:
- Настройка предварительных условий: Создать экземпляр Weaviate и установить необходимые библиотеки
- Подключение: Подключиться к вашему экземпляру Weaviate
- Конфигурация схемы: Сконфигурировать схему ваших данных Примечание: Здесь мы можем определить, какую OpenAI Embedding Model использовать
- Примечание: Здесь мы можем сконфигурировать, какие свойства индексировать
- Примечание: Процесс импорта автоматически проиндексирует ваши данные…
План урока
- Что такое Weaviate
- Варианты развертывания
- Языки программирования
- Демонстрационный процесс
- Модуль OpenAI в Weaviate
- Нет необходимости вручную векторизовать данные
- Предварительные условия
- Создание экземпляра Weaviate
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.