Ответы на вопросы с Cohere в SageMaker JumpStart

О чём урок

Этот ноутбук был предоставлен Джеймсом Йи – старшим архитектором решений для партнеров - AI/ML, Amazon Web Services Результат CI-теста этого ноутбука для us-west-2 следующий. Результаты CI-тестов в других регионах можно найти в конце ноутбука. В этом ноутбуке мы продемонстрируем, как использовать модель Cohere Generate для ответов на вопросы, используя библиотеку документов в качестве ссылки, применяя модель встраивания Cohere для встраивания и извлечения документов. Платформа Cohere позволяет предприятиям и разработчикам использовать большие языковые модели (LLM) конфиденциально и безопасно с развертыванием AWS JumpStart. Мы объявили о доступности LLM Cohere через Amazon SageMaker в январе 2023 года. Клиенты могут легко подписаться на LLM Cohere через AWS Marketplace и использовать их в Amazon SageMaker. Command — это модель генерации текста от Cohere. Она обучена следовать командам пользователя и быть мгновенно полезной в практических бизнес-приложениях. Command занимает лидирующие позиции в бенчмарке Holistic Evaluation of Language Models (HELM), таблице лидеров оценки, сравнивающей большие языковые модели по широкому кругу задач. Cohere Multilingual Embedding Model позволяет классифицировать, встраивать и токенизировать текст на нескольких языках. В этом ноутбуке мы будем использовать Cohere Generate Model - Command-Light для генерации текста и Cohere Multilingual Embedding Model для встраивания текста. Вы можете следовать jupyter-ноутбукам по развертыванию моделей Cohere в этом github для развертывания каждой модели. Убедитесь, что используемая роль IAM имеет AmazonSageMakerFullAccess Для успешного развертывания этой ML-модели убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions aws-marketplace:Unsubscribe aws-marketplace:Subscribe либо ваша учетная запись AWS имеет подписки на Cohere Generate Model - Command-Light и Cohere Multilingual Embedding Model. Чтобы подписаться на пакеты моделей: Откройте страницы листинга пакетов моделей Cohere Generate Model - Command-Light и Cohere Multilingual Embedding Model. На листинге AWS Marketplace нажмите кнопку Continue to subscribe.

План урока

1. Предварительные условия
2. Шаг 1. Подпишитесь на пакеты моделей и разверните модель генерации Cohere и модель встраивания в SageMaker JumpStart
3. Развертывание модели генерации Cohere
4. Развертывание модели встраивания Cohere
5. Шаг 2. Задайте вопрос LLM, не предоставляя контекст
6. Шаг 3. Улучшите ответ на тот же вопрос с помощью prompt engineering с содержательным контекстом
7. Шаг 5. Настройте QA-приложение выше с другим prompt.
8. Результаты CI-тестов ноутбука