Поиск по эмбеддингам в Chroma

О чём урок

Этот notebook проведет вас через простой процесс загрузки данных, создания для них embeddings, а затем их индексации и поиска с использованием различных векторных баз данных. Это частое требование для клиентов, которые хотят хранить и искать наши embeddings вместе со своими данными в безопасной среде для поддержки производственных сценариев использования, таких как чат-боты, тематическое моделирование и многое другое. Векторная база данных — это база данных, предназначенная для хранения, управления и поиска векторов embeddings. Использование embeddings для кодирования неструктурированных данных (текст, аудио, видео и многое другое) в виде векторов для потребления моделями машинного обучения резко возросло в последние годы благодаря растущей эффективности ИИ в решении сценариев использования, связанных с естественным языком, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования. Векторные базы данных позволяют предприятиям использовать многие из сценариев применения embeddings, которыми мы поделились в этом репозитории (например, ответы на вопросы, чат-боты и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие из наших клиентов используют embeddings для решения своих задач в небольших масштабах, но производительность и безопасность мешают им перейти к производственному использованию — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы создания embeddings для текстовых данных, их хранения в векторной базе данных и использования для семантического поиска. Демонстрационный процесс включает: Настройка: Импорт пакетов и установка необходимых переменных данных: набора данных и создание для него embeddings с использованием OpenAI embeddings Chroma: Настройка: Здесь мы настроим Python-клиент для Chroma.

План урока

1. Что такое векторная база данных
2. Зачем использовать векторную базу данных
3. Демонстрационный процесс
4. Настройка
5. Загрузка данных
6. Инициализация клиента Chroma
7. Создание коллекций
8. Заполнение коллекций