О чём урок
Этот пример блокнота показывает, как развернуть вашу собственную дообученную модель HuggingFace Command-R CohereForAI/c4ai-command-r-08-2024 с использованием Amazon SageMaker. Более конкретно, предполагая, что у вас уже есть веса адаптера или объединенные веса после вашего собственного дообучения CohereForAI/c4ai-command-r-08-2024, мы покажем вам, как:
- Объединить веса адаптера с весами базовой модели, если вы используете только веса адаптера
- Экспортировать объединенные веса в механизм вывода TensorRT-LLM с использованием Amazon SageMaker
- Развернуть механизм как конечную точку SageMaker для обслуживания ваших бизнес-сценариев
Примечание: Это справочный блокнот, и он не будет работать, если вы не внесете изменения, предложенные в блокноте.
- Примечание: Этот блокнот содержит элементы, которые корректно отображаются в интерфейсе Jupyter. Откройте этот блокнот из экземпляра блокнота Amazon SageMaker или Amazon SageMaker Studio.
- Убедитесь, что используемая роль IAM имеет AmazonSageMakerFullAccess
- Для успешного развертывания этой модели ML убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions
- aws-marketplace:Unsubscribe
- aws-marketplace:Subscribe
- Подписка на алгоритм собственного дообучения
- Предварительная настройка
- Получение объединенных весов
- Загрузка объединенных весов в S3
- Экспорт объединенных весов в механизм вывода TensorRT-LLM
- Создание конечной точки для вывода из экспортированного механизма
- Выполнение вывода в реальном времени путем вызова конечной точки
- Удаление конечной точки (необязательно)
- Отмена подписки на листинг (необязательно)
Вы можете запускать этот блокнот по одной ячейке за раз (используя Shift+Enter для запуска ячейки).
Чтобы подписаться на алгоритм:
- Откройте страницу листинга алгоритма Cohere Bring Your Own Fine-tuning.
- На странице листинга AWS Marketplace нажмите кнопку Continue to Subscribe.
- На странице Subscribe to this software просмотрите и нажмите "Accept Offer", если вы и ваша организация согласны с EULA, ценами и условиями поддержки. На странице "Configure and launch" убедитесь, что ARN, отображаемый в вашем регионе, соответствует ARN, который вы будете использовать ниже.
Установите пакеты Python, которые вы будете использовать ниже, и импортируйте их.
Убедитесь…
План урока
- Разверните свою собственную дообученную модель Command-R-0824 из AWS Marketplace
- Предварительные требования
- Инструкции по использованию
- 1. Подписка на алгоритм собственного дообучения
- 2. Предварительная настройка
- 3. Получение объединенных весов
- 4. Загрузка объединенных весов в S3
- 5. Экспорт объединенных весов в механизм вывода TensorRT-LLM
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.