Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 05 · Текст · ~5 мин

Дообучение языковых моделей

Урок 5 из 17 курса «Llama: начало работы»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Здесь мы обсудим тонкую настройку Meta Llama, используя несколько различных подходов. Мы рассмотрим два сценария:

Это помогает сделать процесс тонкой настройки более доступным даже на одном потребительском GPU. Эти методы позволяют нам сохранять всю модель замороженной и добавлять в нее лишь крошечные обучаемые параметры/слои. Таким образом, мы обучаем очень малую часть параметров. Самые известные методы в этой категории — это LORA, Llama Adapter и Prefix-tuning.

Эти методы затрагивают три аспекта:

  • Стоимость полной тонкой настройки – эти методы обучают лишь небольшой набор дополнительных параметров вместо всей модели, что позволяет запускать их на потребительских GPU.
  • Стоимость развертывания – для каждой тонко настроенной downstream модели нам необходимо развертывать отдельную модель; однако при использовании этих методов только небольшой набор параметров (несколько МБ вместо нескольких ГБ) предварительно обученной модели может выполнить задачу. В этом случае для каждой задачи мы добавляем эти дополнительные параметры поверх предварительно обученной модели, так что предварительно обученные модели можно рассматривать как backbone, а эти параметры — как heads для модели при решении различных задач.
  • Катастрофическое забывание — эти методы также помогают предотвратить забывание первой задачи, которое может произойти при тонкой настройке.

Библиотека HF PEFT предоставляет простой способ использования этих методов, которыми мы воспользуемся здесь. Подробнее читайте здесь.

Тонкая настройка с полным использованием параметров имеет свои преимущества; в этом методе существует несколько стратегий, которые могут помочь:

  • Сохранять предварительно обученную модель замороженной и тонко настраивать только task head, например, модель классификатора.
  • Сохранять предварительно обученную модель замороженной и добавлять несколько полносвязных слоев сверху.
  • Тонкая настройка всех слоев.

Можно также заморозить большинство слоев и тонко настроить лишь несколько. Существует множество различных техник для замораживания/размораживания слоев, основанных на различных критериях.

В этом сценарии, в зависимости от размера модели, вам может потребоваться более одного GPU, особенно если ваша модель не помещается в один GPU для обучения.

FSDP (Fully Sharded Data Parallel)

Pytorch имеет пакет FSDP для обучения моделей, которые не…

План урока

  1. Тонкая настройка LLM
  2. 1. Тонкая настройка модели с эффективным использованием параметров
  3. 2. Тонкая настройка с полным/частичным использованием параметров

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды