Rerank для неструктурированных данных

О чём урок

Корпоративные данные часто сложны, и существующие системы испытывают трудности с поиском по многоаспектным и полуструктурированным источникам данных. Наиболее полезные данные в компаниях часто не представлены в простом формате документов, а полуструктурированные форматы данных, такие как JSON, распространены в корпоративных приложениях. Эндпоинт Rerank API, работающий на модели Rerank 3, может осуществлять поиск по полуструктурированным данным, представленным в формате JSON. Вы можете просто взять свои JSON-документы, например, из Elasticsearch или MongoDB, и передать их модели Rerank 3. Установив поля rank fields, вы можете выбрать, какие поля должны быть учтены моделью для Reranking. В этом ноутбуке мы увидим, как использовать Rerank 3 для ранжирования сложных, многоаспектных данных (например, электронных писем) на основе всех их соответствующих полей метаданных. Диаграмма ниже дает общее представление о том, что мы будем создавать. Мы выполним следующие шаги: Шаг 1: Определение набора данных JSON - Определите набор данных электронных писем. Шаг 2: Определение полей для Reranking - Выберите поля, которые должны быть учтены моделью. Шаг 3: Вызов эндпоинта Rerank - Получите результаты, признанные наиболее релевантными для двух примеров запросов. Начнем с установки Cohere SDK. В следующей ячейке введите ваш API ключ Cohere. Для этого сначала зарегистрируйтесь в Cohere (бесплатно!), если вы еще этого не сделали. Затем получите свой API ключ здесь. Начнем с создания нашего набора данных, который представляет собой Python list из JSON объектов. Каждый JSON объект — это отдельное электронное письмо с пятью полями. Далее мы определяем, какие поля мы хотим включить для Reranking. В данном случае мы будем использовать все поля. Теперь мы готовы вызвать эндпоинт Rerank, который поможет нам найти электронные письма, релевантные конкретному запросу. Начнем с запроса о ценах от Microsoft (MS). Чтобы получить релевантные электронные письма, модель должна объединить информацию из поля "to" (например, "john_fake_mcgill@microsoft.com") и поля "text" (например, "Sorry, but here is the pricing you asked for ...").

План урока

1. Обзор
2. Настройка
3. Шаг 1: Определение набора данных JSON
4. Шаг 2: Определение полей для Reranking
5. Шаг 3: Вызов эндпоинта Rerank