PEFT: быстрый старт с дообучением

О чём урок

Авторское право (c) Meta Platforms, Inc. и аффилированные лица. Это программное обеспечение может использоваться и распространяться в соответствии с условиями Лицензионного соглашения сообщества Llama 3. Этот notebook демонстрирует, как обучить модель Meta Llama 3 на одном GPU (например, A10 с 24 ГБ) с использованием int8 quantization и LoRA finetuning. Примечание: Чтобы запустить этот notebook на машине с объемом VRAM менее 24 ГБ (например, T4 с 16 ГБ), необходимо адаптировать длину контекста обучающего набора данных. Мы делаем это на основе доступного VRAM во время выполнения. Если вы столкнетесь с проблемами OOM, попробуйте дополнительно уменьшить значение train_config.context_length. Для этого notebook нам необходимо установить llama-cookbook и его зависимости. Кроме того, нам нужно войти в систему с помощью huggingface_cli и убедиться, что учетная запись имеет доступ к весам Meta Llama. Настройте конфигурацию обучения и загрузите модель и tokenizer. Запустите базовую модель на примере входных данных: Мы видим, что базовая модель лишь повторяет диалог. Мы загружаем и предварительно обрабатываем набор данных samsum, который состоит из отобранных пар диалогов и их резюме: Подготовим модель для Parameter Efficient Fine Tuning (PEFT): Здесь мы выполняем fine-tuning модели в течение одной эпохи. Сохранение checkpoint модели Попробуйте fine-tuned модель на том же примере еще раз, чтобы увидеть прогресс обучения:

План урока

1. Краткое руководство по PEFT Finetuning в Notebook
2. Шаг 0: Установка предварительных требований и конвертация checkpoint
3. Шаг 1: Загрузка модели
4. Шаг 2: Проверка базовой модели
5. Шаг 3: Загрузка предварительно обработанного набора данных
6. Шаг 4: Подготовка модели для PEFT
7. Шаг 5: Fine-tuning модели
8. Шаг 6