Дообучение с учителем (SFT) на практике

О чём урок

Донастройка с учителем (Supervised Fine-Tuning, SFT) — это процесс, используемый главным образом для адаптации предварительно обученных языковых моделей для следования инструкциям, ведения диалога и использования определённых форматов вывода. Хотя предварительно обученные модели обладают впечатляющими общими возможностями, SFT помогает преобразовать их в модели, подобные ассистентам, которые могут лучше понимать и отвечать на user prompts. Обычно это достигается путём обучения на наборах данных, состоящих из написанных людьми диалогов и инструкций. На этой странице представлено пошаговое руководство по fine-tuning модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с использованием SFTTrainer. Следуя этим шагам, вы сможете более эффективно адаптировать модель для выполнения конкретных задач. Прежде чем приступать к реализации, важно понять, когда SFT является правильным выбором для вашего проекта. В качестве первого шага следует рассмотреть, будет ли достаточно использования существующей instruction-tuned модели с хорошо составленными prompts для вашего сценария использования. SFT требует значительных вычислительных ресурсов и инженерных усилий, поэтому к ней следует прибегать только в тех случаях, когда prompting существующих моделей оказывается недостаточным. [!СОВЕТ] Рассматривайте SFT только если вы: Нуждаетесь в дополнительной производительности, которую не может обеспечить prompting Имеете специфический сценарий использования, где стоимость применения большой модели общего назначения превышает стоимость fine-tuning меньшей модели Требуете специализированных форматов вывода или доменных знаний, с которыми существующие модели справляются с трудом Если вы решите, что SFT необходима, решение о её применении зависит от двух основных факторов: SFT позволяет точно контролировать структуру вывода модели.

План урока

1. Когда использовать SFT
2. Контроль шаблонов
3. Адаптация к предметной области
4. Подготовка набора данных
5. Конфигурация обучения
6. Реализация с использованием TRL
7. Упаковка набора данных
8. Мониторинг хода обучения