Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 110 · Текст · ~5 мин

Cohere на AWS: дообучение Command R

Урок 110 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот пример блокнота показывает, как выполнить тонкую настройку и развернуть пользовательскую модель Command-R с использованием Amazon SageMaker.

Примечание: Это справочный блокнот, и он не будет работать, если вы не внесете изменения, предложенные в блокноте.

  1. Примечание: Этот блокнот содержит элементы, которые корректно отображаются в интерфейсе Jupyter. Откройте этот блокнот из экземпляра Amazon SageMaker Notebook Instance или Amazon SageMaker Studio.
  2. Убедитесь, что используемая роль IAM имеет разрешение AmazonSageMakerFullAccess
  3. Для успешного развертывания этой модели ML убедитесь, что: Либо ваша роль IAM имеет эти три разрешения, и у вас есть полномочия для оформления подписок на AWS Marketplace в используемой учетной записи AWS: aws-marketplace:ViewSubscriptions
  4. aws-marketplace:Unsubscribe
  5. aws-marketplace:Subscribe
  1. Подписка на алгоритм тонкой настройки
  2. Загрузка данных и тонкая настройка модели Command-R
  3. Создание конечной точки для инференса с пользовательской моделью Создать конечную точку
  4. Выполнить инференс в реальном времени
  1. Удалить конечную точку
  2. Отменить подписку на листинг (необязательно)

Вы можете запускать этот блокнот по одной ячейке (используя Shift+Enter для запуска ячейки).

Чтобы подписаться на алгоритм модели:

  1. Откройте страницу листинга алгоритма Cohere Command Finetuning
  2. На странице листинга AWS Marketplace нажмите кнопку Continue to Subscribe.
  3. На странице Subscribe to this software просмотрите и нажмите "Accept Offer", если вы и ваша организация согласны с EULA, ценами и условиями поддержки.
  4. После того как вы нажмете кнопку Continue to configuration и выберете region, вы увидите отображаемый Product Arn. Это ARN алгоритма, который вам необходимо указать при создании тонкой настройки или развертывании тонко настроенной модели в качестве конечной точки с использованием boto3. Скопируйте ARN, соответствующий вашему региону, и укажите его в следующей ячейке.

Алгоритм доступен в списке регионов AWS, указанных ниже.

Выберите путь в S3 для хранения обучающих и оценочных наборов данных и обновите s3_data_dir ниже:

Загрузите пример обучающих данных в S3:

Вам понадобятся данные в файле .jsonl, который содержит пары prompt-completion в качестве примеров. Документация

JSONL:

Примечание: Повторите то же…

План урока

  1. Предварительные требования
  2. Инструкции по использованию
  3. 1. Подписка на алгоритм тонкой настройки
  4. 2. Загрузка данных и тонкая настройка Command-R
  5. Примечание
  6. Пример
  7. Необязательно: Определение гиперпараметров
  8. 3. Создание конечной точки для инференса с пользовательской моделью

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды