Дообучаем Llama 4 с torchtune

О чём урок

В этом руководстве показано, как выполнить fine-tuning моделей Llama4 с использованием torchtune. Модели Llama 4 имеют значительный размер, поэтому мы рекомендуем использовать 8 графических процессоров H100 с 80 ГБ ОЗУ для выполнения fine-tuning. Если вы используете GPU с 40 ГБ ОЗУ, рассмотрите возможность включения выгрузки памяти в CPU. Если вы арендуете виртуальную машину у облачного провайдера для выполнения fine-tuning, убедитесь, что у вас установлены драйверы NVIDIA: wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run Проверьте GPU с помощью команды nvidia-smi. Нам нужно использовать torchtune для выполнения LoRA fine-tuning. Теперь давайте настроим окружение и установим ночную сборку PyTorch. LoRA fine-tuning для Llama4 также требует сборки из исходного кода. a. Создайте окружение Python 3.10 (рекомендуется): b. Установите ночную сборку PyTorch и TorchTune: c. В зависимости от вашей среды настройки, вам также может потребоваться установить следующие пакеты: Нам также потребуется access token Hugging Face (HF_TOKEN) для загрузки моделей, пожалуйста, следуйте инструкциям здесь, чтобы получить свой собственный token. Вам также потребуется получить доступ к моделям Llama4 здесь весов Llama4 В качестве примера мы будем использовать meta-llama/Llama-4-Scout-17B-16E-Instruct. Замените на ваш Hugging Face token: В качестве альтернативы, вы можете использовать huggingface-cli для входа в систему, а затем загрузить веса модели. Это загружает веса модели и токенизатор из Hugging Face. Запуск LoRA Fine-Tuning для Llama4 Чтобы запустить LoRA fine-tuning, используйте следующую команду: Это запустит LoRA fine-tuning для модели Llama4 с 8 GPU. Конфигурация llama4/scout_17B_16E_lora — это файл конфигурации, который определяет модель, токенизатор и параметры обучения. Эта команда также загрузит alpaca_dataset, как указано в файле конфигурации. Пожалуйста, обратитесь к разделу "Наборы данных" для получения более подробной информации.

План урока

1. Руководство по Fine-Tuning моделей Llama4 с использованием torchtune
2. Предварительные требования
3. Шаги