О чём урок
Здесь мы обсудим тонкую настройку Meta Llama, используя несколько различных подходов. Мы рассмотрим два сценария: Это помогает сделать процесс тонкой настройки более доступным даже на одном потребительском GPU. Эти методы позволяют нам сохранять всю модель замороженной и добавлять в нее лишь крошечные обучаемые параметры/слои. Таким образом, мы обучаем очень малую часть параметров. Самые известные методы в этой категории — это LORA, Llama Adapter и Prefix-tuning. Эти методы затрагивают три аспекта: Стоимость полной тонкой настройки – эти методы обучают лишь небольшой набор дополнительных параметров вместо всей модели, что позволяет запускать их на потребительских GPU. Стоимость развертывания – для каждой тонко настроенной downstream модели нам необходимо развертывать отдельную модель; однако при использовании этих методов только небольшой набор параметров (несколько МБ вместо нескольких ГБ) предварительно обученной модели может выполнить задачу. В этом случае для каждой задачи мы добавляем эти дополнительные параметры поверх предварительно обученной модели, так что предварительно обученные модели можно рассматривать как backbone, а эти параметры — как heads для модели при решении различных задач. Катастрофическое забывание — эти методы также помогают предотвратить забывание первой задачи, которое может произойти при тонкой настройке. Библиотека HF PEFT предоставляет простой способ использования этих методов, которыми мы воспользуемся здесь. Подробнее читайте здесь. Тонкая настройка с полным использованием параметров имеет свои преимущества; в этом методе существует несколько стратегий, которые могут помочь: Сохранять предварительно обученную модель замороженной и тонко настраивать только task head, например, модель классификатора. Сохранять предварительно обученную модель замороженной и добавлять несколько полносвязных слоев сверху. Тонкая настройка всех слоев. Можно также заморозить большинство слоев и тонко настроить лишь несколько. Существует множество различных техник для замораживания/размораживания слоев, основанных на различных критериях. В этом сценарии, в зависимости от размера модели, вам может потребоваться более одного GPU, особенно если ваша модель не помещается в один GPU для обучения.
План урока
- Тонкая настройка LLM
- 1. Тонкая настройка модели с эффективным использованием параметров
- 2. Тонкая настройка с полным/частичным использованием параметров
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.