Cohere на AWS: дообучение Command R

О чём урок

Этот пример блокнота показывает, как выполнить тонкую настройку и развернуть пользовательскую модель Command-R с использованием Amazon SageMaker. Примечание: Это справочный блокнот, и он не будет работать, если вы не внесете изменения, предложенные в блокноте. Примечание: Этот блокнот содержит элементы, которые корректно отображаются в интерфейсе Jupyter. Откройте этот блокнот из экземпляра Amazon SageMaker Notebook Instance или Amazon SageMaker Studio. Убедитесь, что используемая роль IAM имеет разрешение AmazonSageMakerFullAccess Для успешного развертывания этой модели ML убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок на AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions aws-marketplace:Unsubscribe aws-marketplace:Subscribe либо ваша учетная запись AWS имеет подписку на пакеты для Cohere Command Finetuning. В этом случае пропустите шаг: Подписка на алгоритм тонкой настройки Подписка на алгоритм тонкой настройки данных и тонкая настройка модели Command-R Создание конечной точки для инференса с пользовательской моделью Создать конечную точку Выполнить инференс в реальном времени Очистка Удалить конечную точку Отменить подписку на листинг (необязательно) Вы можете запускать этот блокнот по одной ячейке (используя Shift+Enter для запуска ячейки). Чтобы подписаться на алгоритм модели: Откройте страницу листинга алгоритма Cohere Command Finetuning На странице листинга AWS Marketplace нажмите кнопку Continue to Subscribe. На странице Subscribe to this software просмотрите и нажмите "Accept Offer", если вы и ваша организация согласны с EULA, ценами и условиями поддержки. После того как вы нажмете кнопку Continue to configuration и выберете region, вы увидите отображаемый Product Arn. Это ARN алгоритма, который вам необходимо указать при создании тонкой настройки или развертывании тонко настроенной модели в качестве конечной точки с использованием boto3. Скопируйте ARN, соответствующий вашему региону, и укажите его в следующей ячейке. Алгоритм доступен в списке регионов AWS, указанных ниже.

План урока

1. Предварительные требования
2. Инструкции по использованию
3. 1. Подписка на алгоритм тонкой настройки
4. 2. Загрузка данных и тонкая настройка Command-R
5. Примечание
6. Пример
7. Необязательно: Определение гиперпараметров
8. 3. Создание конечной точки для инференса с пользовательской моделью