О чём урок
Этот ноутбук был предоставлен Джеймсом Йи – старшим архитектором решений для партнеров - AI/ML, Amazon Web Services
Результат CI-теста этого ноутбука для us-west-2 следующий. Результаты CI-тестов в других регионах можно найти в конце ноутбука.
В этом ноутбуке мы продемонстрируем, как использовать модель Cohere Generate для ответов на вопросы, используя библиотеку документов в качестве ссылки, применяя модель встраивания Cohere для встраивания и извлечения документов.
Платформа Cohere позволяет предприятиям и разработчикам использовать большие языковые модели (LLM) конфиденциально и безопасно с развертыванием AWS JumpStart. Мы объявили о доступности LLM Cohere через Amazon SageMaker в январе 2023 года. Клиенты могут легко подписаться на LLM Cohere через AWS Marketplace и использовать их в Amazon SageMaker.
Command — это модель генерации текста от Cohere. Она обучена следовать командам пользователя и быть мгновенно полезной в практических бизнес-приложениях. Command занимает лидирующие позиции в бенчмарке Holistic Evaluation of Language Models (HELM), таблице лидеров оценки, сравнивающей большие языковые модели по широкому кругу задач. Cohere Multilingual Embedding Model позволяет классифицировать, встраивать и токенизировать текст на нескольких языках.
В этом ноутбуке мы будем использовать Cohere Generate Model - Command-Light для генерации текста и Cohere Multilingual Embedding Model для встраивания текста. Вы можете следовать jupyter-ноутбукам по развертыванию моделей Cohere в этом github для развертывания каждой модели.
- Убедитесь, что используемая роль IAM имеет AmazonSageMakerFullAccess
- Для успешного развертывания этой ML-модели убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions
- aws-marketplace:Unsubscribe
- aws-marketplace:Subscribe
Чтобы подписаться на пакеты моделей:
- Откройте страницы листинга пакетов моделей Cohere Generate Model - Command-Light и Cohere Multilingual Embedding Model.
- На листинге AWS Marketplace нажмите кнопку Continue to subscribe.
- На странице Subscribe to this software просмотрите и нажмите "Accept Offer", если вы и ваша организация согласны с условиями EULA, ценообразования и поддержки.
- После того как вы нажмете…
План урока
- Предварительные условия
- Шаг 1. Подпишитесь на пакеты моделей и разверните модель генерации Cohere и модель встраивания в SageMaker JumpStart
- Развертывание модели генерации Cohere
- Развертывание модели встраивания Cohere
- Шаг 2. Задайте вопрос LLM, не предоставляя контекст
- Шаг 3. Улучшите ответ на тот же вопрос с помощью prompt engineering с содержательным контекстом
- Шаг 5. Настройте QA-приложение выше с другим prompt.
- Результаты CI-тестов ноутбука
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.