О чём урок
Этот пример блокнота показывает, как развернуть вашу собственную дообученную модель HuggingFace Command-R CohereForAI/c4ai-command-r-08-2024 с использованием Amazon SageMaker. Более конкретно, предполагая, что у вас уже есть веса адаптера или объединенные веса после вашего собственного дообучения CohereForAI/c4ai-command-r-08-2024, мы покажем вам, как: Объединить веса адаптера с весами базовой модели, если вы используете только веса адаптера Экспортировать объединенные веса в механизм вывода TensorRT-LLM с использованием Amazon SageMaker Развернуть механизм как конечную точку SageMaker для обслуживания ваших бизнес-сценариев Примечание: Это справочный блокнот, и он не будет работать, если вы не внесете изменения, предложенные в блокноте. Примечание: Этот блокнот содержит элементы, которые корректно отображаются в интерфейсе Jupyter. Откройте этот блокнот из экземпляра блокнота Amazon SageMaker или Amazon SageMaker Studio. Убедитесь, что используемая роль IAM имеет AmazonSageMakerFullAccess Для успешного развертывания этой модели ML убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions aws-marketplace:Unsubscribe aws-marketplace:Subscribe либо ваша учетная запись AWS имеет подписку на пакеты для Cohere Bring Your Own Fine-tuning. В этом случае пропустите шаг: Подписка на алгоритм собственного дообучения Подписка на алгоритм собственного дообучения Предварительная настройка Получение объединенных весов объединенных весов в S3 Экспорт объединенных весов в механизм вывода TensorRT-LLM Создание конечной точки для вывода из экспортированного механизма Выполнение вывода в реальном времени путем вызова конечной точки Удаление конечной точки (необязательно) Отмена подписки на листинг (необязательно) Вы можете запускать этот блокнот по одной ячейке за раз (используя Shift+Enter для запуска ячейки). Чтобы подписаться на алгоритм: Откройте страницу листинга алгоритма Cohere Bring Your Own Fine-tuning. На странице листинга AWS Marketplace нажмите кнопку Continue to Subscribe. На странице Subscribe to this software просмотрите и нажмите "Accept Offer", если вы и ваша организация согласны с EULA, ценами и условиями поддержки.
План урока
- Разверните свою собственную дообученную модель Command-R-0824 из AWS Marketplace
- Предварительные требования
- Инструкции по использованию
- 1. Подписка на алгоритм собственного дообучения
- 2. Предварительная настройка
- 3. Получение объединенных весов
- 4. Загрузка объединенных весов в S3
- 5. Экспорт объединенных весов в механизм вывода TensorRT-LLM
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.