О чём урок
Этот notebook демонстрирует, как обучить модель Meta Llama 3 на одном GPU (например, A10 с 24 ГБ) с использованием int8 quantization и LoRA finetuning.
Примечание: Чтобы запустить этот notebook на машине с объемом VRAM менее 24 ГБ (например, T4 с 16 ГБ), необходимо адаптировать длину контекста обучающего набора данных. Мы делаем это на основе доступного VRAM во время выполнения. Если вы столкнетесь с проблемами OOM, попробуйте дополнительно уменьшить значение train_config.context_length.
Для этого notebook нам необходимо установить llama-cookbook и его зависимости. Кроме того, нам нужно войти в систему с помощью huggingface_cli и убедиться, что учетная запись имеет доступ к весам Meta Llama.
Настройте конфигурацию обучения и загрузите модель и tokenizer.
Запустите базовую модель на примере входных данных:
Мы видим, что базовая модель лишь повторяет диалог.
Мы загружаем и предварительно обрабатываем набор данных samsum, который состоит из отобранных пар диалогов и их резюме:
Подготовим модель для Parameter Efficient Fine Tuning (PEFT):
Здесь мы выполняем fine-tuning модели в течение одной эпохи.
Сохранение checkpoint модели
Попробуйте fine-tuned модель на том же примере еще раз, чтобы увидеть прогресс обучения:
План урока
- Краткое руководство по PEFT Finetuning в Notebook
- Шаг 0: Установка предварительных требований и конвертация checkpoint
- Шаг 1: Загрузка модели
- Шаг 2: Проверка базовой модели
- Шаг 3: Загрузка предварительно обработанного набора данных
- Шаг 4: Подготовка модели для PEFT
- Шаг 5: Fine-tuning модели
- Шаг 6
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.