Cohere на AWS: Rerank в SageMaker

О чём урок

Переранжирование (Reranking) — это важная техника в системах информационного поиска, особенно в крупномасштабных поисковых приложениях. Это процесс переупорядочивания набора изначально полученных документов на основе их релевантности запросу пользователя. Преимущество переранжирования заключается в том, что, хотя оно значительно улучшает результаты поиска, реализация моделей Rerank от Cohere требует добавления всего одной строки кода в любую существующую поисковую систему, будь то система семантического поиска или традиционная поисковая система, использующая подходы на основе ключевых слов. В этом ноутбуке мы рассмотрим, как использовать endpoint Cohere Rerank на Amazon SageMaker. В частности, мы рассмотрим пример многоаспектного поиска по полуструктурированным данным и покажем, как выполнить переранжирование данных электронной почты, содержащих несколько полей: «title» и «content». Сначала установим и импортируем необходимые библиотеки, а также настроим наш клиент Cohere. Нам потребуется создать SageMaker endpoint, который предоставляет доступ к модели Cohere (в нашем случае Rerank v3). Для этого мы будем использовать SDK cohere_aws, который упрощает настройку endpoint, вместе с библиотекой boto3 от AWS. С помощью SageMaker нам потребуется создать endpoint через инстанс AWS. Листинг на маркетплейсе предоставляет более подробную информацию, включая цены, о рекомендуемом типе инстанса для конкретной модели. Для создания endpoint мы определяем: arn: ARN пакета модели, который мы определили на предыдущем шаге endpoint_name: Имя, которое мы можем использовать в качестве идентификатора instance_type: Тип инстанса для использования n_instances: Количество инстансов Мы передаем аргументы методу create_endpoint из библиотеки cohere_aws. Предположим, что первый этап извлечения уже был выполнен, будь то с помощью семантической, ключевой или любой другой поисковой системы. Здесь у нас есть список из девяти документов, которые представляют результаты поиска первого этапа. Каждый документ имеет два поля, Title и Content, соответствующие содержимому электронного письма. Каждое электронное письмо представляет собой словарь, содержащий эти поля, что сохраняет его полуструктурированный формат, который может использовать endpoint Rerank. Чтобы использовать endpoint, мы теперь используем Cohere SDK.