Дообучение на одной GPU

О чём урок

Этот рецепт покажет вам, как выполнить fine-tuning модели Meta Llama 3 для задачи суммаризации текста, используя набор данных samsum на одном GPU. Это инструкции по использованию канонического скрипта для fine-tuning в пакете llama-cookbook. Убедитесь, что вы установили пакет llama-cookbook. Для запуска fine-tuning на одном GPU мы будем использовать два пакета: PEFT для использования ресурсоэффективного fine-tuning. bitsandbytes для 8-битной квантизации. ПРИМЕЧАНИЕ Чтобы запустить fine-tuning с QLORA, убедитесь, что установлены параметры --peft_method lora и --quantization 4bit --quantization_config.quant_type nf4. Аргументы, используемые в команде выше: --use_peft булев флаг для включения методов PEFT в скрипте --peft_method для указания метода PEFT; здесь мы используем lora, другие варианты: llama_adapter, prefix. --quantization строковый флаг для включения 8-битной или 4-битной квантизации [!ПРИМЕЧАНИЕ] Если вы используете машину с несколькими GPU, убедитесь, что виден только один из них, используя export CUDA_VISIBLE_DEVICES=GPU:id. В настоящее время поддерживаются 3 открытых набора данных, которые можно найти в файле конфигурации наборов данных. Вы также можете использовать свой собственный набор данных (подробнее здесь). grammar_dataset : используйте этот notebook для получения и обработки наборов данных Jfleg и C4 200M для проверки грамматики. alpaca_dataset : чтобы получить эти открытые данные, пожалуйста, загрузите файл alpaca.json в папку dataset. samsum_dataset Чтобы запустить с каждым из наборов данных, установите флаг dataset в команде, как показано ниже: Чтобы помочь с бенчмаркингом, мы добавляем поддержку подсчета FLOPS во время процесса fine-tuning. Вы можете добиться этого, установив --flop_counter при запуске fine-tuning на одном или нескольких GPU. Используйте --flop_counter_start, чтобы выбрать шаг, с которого будет производиться подсчет FLOPS. Рекомендуется предусмотреть этап разогрева перед использованием счетчика FLOPS. Аналогично, вы можете установить флаг --use_profiler и передать путь для вывода профилирования с помощью --profiler_dir, чтобы захватить трассировки профиля вашей модели с помощью профилировщика PyTorch.

План урока

1. Требования
2. Как это запустить?
3. Как запустить с разными наборами данных?
4. Подсчет FLOPS и профилирование PyTorch