Weaviate с векторизацией OpenAI: гибридный поиск

О чём урок

Этот notebook подготовлен для сценария, когда: Ваши данные не векторизованы Вы хотите выполнить Hybrid Search (узнать больше) по вашим данным Вы хотите использовать Weaviate с модулем OpenAI (text2vec-openai), чтобы генерировать для вас vector embeddings. Этот notebook проведет вас через простой процесс настройки экземпляра Weaviate, подключения к нему (с помощью OpenAI API key), конфигурирования схемы данных, импорта данных (который автоматически сгенерирует vector embeddings для ваших данных) и выполнения hybrid search (смешение векторного и BM25 поиска). Это распространенное требование для клиентов, которые хотят хранить и искать наши embeddings со своими данными в безопасной среде для поддержки производственных сценариев использования, таких как chatbots, topic modelling и многое другое. Weaviate — это open-source vector search engine, который хранит объекты данных вместе с их векторами. Это позволяет комбинировать vector search со структурированной фильтрацией. Weaviate использует KNN algorithms для создания vector-optimized index, что позволяет вашим запросам выполняться чрезвычайно быстро. Узнайте больше здесь. Weaviate позволяет использовать ваши любимые ML-models и бесшовно масштабироваться до миллиардов объектов данных. Независимо от вашего сценария или production setup, Weaviate предлагает вариант для вас. Вы можете развернуть Weaviate в следующих конфигурациях: Self-hosted – вы можете развернуть Weaviate с docker локально или на любом сервере, который вы хотите. SaaS – вы можете использовать Weaviate Cloud Service (WCS) для размещения ваших экземпляров Weaviate. Hybrid-SaaS – вы можете развернуть Weaviate в своем собственном частном Cloud Service Weaviate предлагает четыре клиентские библиотеки, которые позволяют взаимодействовать из ваших приложений: Python JavaScript Java Go Кроме того, Weaviate имеет REST layer. По сути, вы можете вызывать Weaviate из любого языка, который поддерживает REST запросы.

План урока

1. Что такое Weaviate
2. Варианты развертывания
3. Языки программирования
4. Демонстрационный процесс
5. Модуль OpenAI в Weaviate
6. Нет необходимости вручную векторизовать данные
7. Предварительные условия
8. Создание экземпляра Weaviate