О чём урок
Донастройка с учителем (Supervised Fine-Tuning, SFT) — это процесс, используемый главным образом для адаптации предварительно обученных языковых моделей для следования инструкциям, ведения диалога и использования определённых форматов вывода. Хотя предварительно обученные модели обладают впечатляющими общими возможностями, SFT помогает преобразовать их в модели, подобные ассистентам, которые могут лучше понимать и отвечать на user prompts. Обычно это достигается путём обучения на наборах данных, состоящих из написанных людьми диалогов и инструкций.
На этой странице представлено пошаговое руководство по fine-tuning модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с использованием SFTTrainer. Следуя этим шагам, вы сможете более эффективно адаптировать модель для выполнения конкретных задач.
Прежде чем приступать к реализации, важно понять, когда SFT является правильным выбором для вашего проекта. В качестве первого шага следует рассмотреть, будет ли достаточно использования существующей instruction-tuned модели с хорошо составленными prompts для вашего сценария использования. SFT требует значительных вычислительных ресурсов и инженерных усилий, поэтому к ней следует прибегать только в тех случаях, когда prompting существующих моделей оказывается недостаточным.
[!СОВЕТ] Рассматривайте SFT только если вы:
- Нуждаетесь в дополнительной производительности, которую не может обеспечить prompting
- Имеете специфический сценарий использования, где стоимость применения большой модели общего назначения превышает стоимость fine-tuning меньшей модели
- Требуете специализированных форматов вывода или доменных знаний, с которыми существующие модели справляются с трудом
Если вы решите, что SFT необходима, решение о её применении зависит от двух основных факторов:
SFT позволяет точно контролировать структуру вывода модели. Это особенно ценно, когда вам нужно, чтобы модель:
- Генерировала ответы в определённом формате chat template
- Следовала строгим output schemas
- Поддерживала единообразное оформление в ответах
При работе в специализированных областях SFT помогает привести модель в соответствие с требованиями предметной области путём:
- Обучения доменной терминологии и концепциям
- Применения профессиональных стандартов
- Корректной обработки технических запросов
- Следования отраслевым рекомендациям
[!СОВЕТ] Прежде чем приступать к SFT, оцените, требует ли ваш сценарий использования:
- Точного форматирования вывода
- Знаний предметной области
- Последовательных шаблонов ответов
- Соблюдения конкретных рекомендаций
План урока
- Когда использовать SFT
- Контроль шаблонов
- Адаптация к предметной области
- Подготовка набора данных
- Конфигурация обучения
- Реализация с использованием TRL
- Упаковка набора данных
- Мониторинг хода обучения
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.