Weaviate с векторизацией OpenAI: поиск по эмбеддингам

О чём урок

Этот notebook подготовлен для сценария, в котором: Ваши данные не векторизованы Вы хотите выполнить Vector Search по вашим данным Вы хотите использовать Weaviate с модулем OpenAI (text2vec-openai) для автоматической генерации vector embeddings. Этот notebook проведет вас через простой процесс настройки экземпляра Weaviate, подключения к нему (с использованием OpenAI API key), настройки схемы данных, импорта данных (что автоматически сгенерирует vector embeddings для ваших данных) и выполнения семантического поиска. Это частое требование для клиентов, желающих хранить и искать наши embeddings со своими данными в безопасной среде для поддержки производственных сценариев использования, таких как чат-боты, тематическое моделирование и многое другое. Weaviate — это open-source движок для Vector Search, который хранит объекты данных вместе с их векторами. Это позволяет комбинировать Vector Search со структурированной фильтрацией. Weaviate использует алгоритмы KNN для создания оптимизированного для векторов индекса, что позволяет вашим запросам выполняться чрезвычайно быстро. Узнайте больше здесь. Weaviate позволяет использовать ваши любимые ML-модели и беспрепятственно масштабироваться до миллиардов объектов данных. Независимо от вашего сценария или производственной конфигурации, Weaviate предлагает подходящий вариант. Вы можете развернуть Weaviate в следующих конфигурациях: Self-hosted – вы можете развернуть Weaviate с помощью Docker локально или на любом сервере по вашему выбору. SaaS – вы можете использовать Weaviate Cloud Service (WCS) для размещения ваших экземпляров Weaviate. Hybrid-SaaS – вы можете развернуть Weaviate в вашем собственном частном Cloud Service. Weaviate предлагает четыре клиентские библиотеки, которые позволяют вашим приложениям взаимодействовать с ним: Python JavaScript Java Go Кроме того, Weaviate имеет REST-слой. По сути, вы можете вызывать Weaviate из любого языка, поддерживающего REST-запросы.

План урока

1. Что такое Weaviate
2. Варианты развертывания
3. Языки программирования
4. Демонстрационный процесс
5. Модуль OpenAI в Weaviate
6. Нет необходимости вручную векторизовать данные
7. Предварительные условия
8. Создание экземпляра Weaviate