О чём урок
Этот пример блокнота показывает, как выполнить тонкую настройку и развернуть пользовательскую модель Command-R с использованием Amazon SageMaker.
Примечание: Это справочный блокнот, и он не будет работать, если вы не внесете изменения, предложенные в блокноте.
- Примечание: Этот блокнот содержит элементы, которые корректно отображаются в интерфейсе Jupyter. Откройте этот блокнот из экземпляра Amazon SageMaker Notebook Instance или Amazon SageMaker Studio.
- Убедитесь, что используемая роль IAM имеет разрешение AmazonSageMakerFullAccess
- Для успешного развертывания этой модели ML убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок на AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions
- aws-marketplace:Unsubscribe
- aws-marketplace:Subscribe
- Подписка на алгоритм тонкой настройки
- Загрузка данных и тонкая настройка модели Command-R
- Создание конечной точки для инференса с пользовательской моделью Создать конечную точку
- Выполнить инференс в реальном времени
- Удалить конечную точку
- Отменить подписку на листинг (необязательно)
Вы можете запускать этот блокнот по одной ячейке (используя Shift+Enter для запуска ячейки).
Чтобы подписаться на алгоритм модели:
- Откройте страницу листинга алгоритма Cohere Command Finetuning
- На странице листинга AWS Marketplace нажмите кнопку Continue to Subscribe.
- На странице Subscribe to this software просмотрите и нажмите "Accept Offer", если вы и ваша организация согласны с EULA, ценами и условиями поддержки.
- После того как вы нажмете кнопку Continue to configuration и выберете region, вы увидите отображаемый Product Arn. Это ARN алгоритма, который вам необходимо указать при создании тонкой настройки или развертывании тонко настроенной модели в качестве конечной точки с использованием boto3. Скопируйте ARN, соответствующий вашему региону, и укажите его в следующей ячейке.
Алгоритм доступен в списке регионов AWS, указанных ниже.
Выберите путь в S3 для хранения обучающих и оценочных наборов данных и обновите s3_data_dir ниже:
Загрузите пример обучающих данных в S3:
Вам понадобятся данные в файле .jsonl, который содержит пары prompt-completion в качестве примеров. Документация
JSONL:
Примечание: Повторите то же…
План урока
- Предварительные требования
- Инструкции по использованию
- 1. Подписка на алгоритм тонкой настройки
- 2. Загрузка данных и тонкая настройка Command-R
- Примечание
- Пример
- Необязательно: Определение гиперпараметров
- 3. Создание конечной точки для инференса с пользовательской моделью
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.