Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 89 · Текст · ~5 мин

Дообучение с учителем (SFT) на практике

Урок 89 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Донастройка с учителем (Supervised Fine-Tuning, SFT) — это процесс, используемый главным образом для адаптации предварительно обученных языковых моделей для следования инструкциям, ведения диалога и использования определённых форматов вывода. Хотя предварительно обученные модели обладают впечатляющими общими возможностями, SFT помогает преобразовать их в модели, подобные ассистентам, которые могут лучше понимать и отвечать на user prompts. Обычно это достигается путём обучения на наборах данных, состоящих из написанных людьми диалогов и инструкций.

На этой странице представлено пошаговое руководство по fine-tuning модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с использованием SFTTrainer. Следуя этим шагам, вы сможете более эффективно адаптировать модель для выполнения конкретных задач.

Прежде чем приступать к реализации, важно понять, когда SFT является правильным выбором для вашего проекта. В качестве первого шага следует рассмотреть, будет ли достаточно использования существующей instruction-tuned модели с хорошо составленными prompts для вашего сценария использования. SFT требует значительных вычислительных ресурсов и инженерных усилий, поэтому к ней следует прибегать только в тех случаях, когда prompting существующих моделей оказывается недостаточным.

[!СОВЕТ] Рассматривайте SFT только если вы:

  • Нуждаетесь в дополнительной производительности, которую не может обеспечить prompting
  • Имеете специфический сценарий использования, где стоимость применения большой модели общего назначения превышает стоимость fine-tuning меньшей модели
  • Требуете специализированных форматов вывода или доменных знаний, с которыми существующие модели справляются с трудом

Если вы решите, что SFT необходима, решение о её применении зависит от двух основных факторов:

SFT позволяет точно контролировать структуру вывода модели. Это особенно ценно, когда вам нужно, чтобы модель:

  1. Генерировала ответы в определённом формате chat template
  2. Следовала строгим output schemas
  3. Поддерживала единообразное оформление в ответах

При работе в специализированных областях SFT помогает привести модель в соответствие с требованиями предметной области путём:

  1. Обучения доменной терминологии и концепциям
  2. Применения профессиональных стандартов
  3. Корректной обработки технических запросов
  4. Следования отраслевым рекомендациям

[!СОВЕТ] Прежде чем приступать к SFT, оцените, требует ли ваш сценарий использования:

  • Точного форматирования вывода
  • Знаний предметной области
  • Последовательных шаблонов ответов
  • Соблюдения конкретных рекомендаций

План урока

  1. Когда использовать SFT
  2. Контроль шаблонов
  3. Адаптация к предметной области
  4. Подготовка набора данных
  5. Конфигурация обучения
  6. Реализация с использованием TRL
  7. Упаковка набора данных
  8. Мониторинг хода обучения

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды