Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 27 · Текст · ~5 мин

Дообучение: подведём итоги

Урок 27 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это была насыщенная глава! В первых двух главах вы познакомились с моделями и токенизаторами, а теперь умеете дообучать их на собственных данных, используя современные лучшие практики. Подведём итоги: в этой главе вы

  • узнали о датасетах на Hub и современных методах обработки данных;
  • научились эффективно загружать и предобрабатывать датасеты, в том числе с помощью динамического паддинга и data collator'ов;
  • реализовали дообучение и оценку модели с помощью высокоуровневого API Trainer, используя самые актуальные возможности;
  • написали полный собственный цикл обучения на PyTorch с нуля;
  • использовали 🤗 Accelerate, чтобы код обучения без изменений работал на нескольких GPU или TPU;
  • применили современные приёмы оптимизации, такие как обучение со смешанной точностью и накопление градиентов.

[!TIP] 🎉 Поздравляем! Вы освоили основы дообучения трансформерных моделей. Теперь вы готовы браться за настоящие проекты в области машинного обучения!

📖 Продолжайте учиться: изучите следующие материалы, чтобы углубить свои знания:

  • руководства по задачам 🤗 Transformers для конкретных задач NLP;
  • примеры из 🤗 Transformers в виде подробных блокнотов.

🚀 Что дальше:

  • попробуйте дообучить модель на собственном датасете, применив полученные знания;
  • поэкспериментируйте с разными архитектурами моделей, доступными на Hugging Face Hub;
  • присоединяйтесь к сообществу Hugging Face, чтобы делиться своими проектами и получать помощь.

Это лишь начало вашего пути с 🤗 Transformers. В следующей главе мы расскажем, как делиться своими моделями и токенизаторами с сообществом и вносить вклад в постоянно растущую экосистему предобученных моделей.

Навыки, которые вы здесь приобрели, предобработка данных, настройка обучения, оценка и оптимизация, лежат в основе любого проекта по машинному обучению. Чем бы вы ни занимались: классификацией текста, распознаванием именованных сущностей, ответами на вопросы или другой задачей NLP, эти приёмы вам обязательно пригодятся.

[!TIP] 💡 Советы напоследок:

  • всегда начинайте с надёжного базового решения на основе API Trainer, прежде чем писать собственный цикл обучения;
  • используйте 🤗 Hub, чтобы найти предобученные модели, близкие к вашей задаче, и получить хорошую отправную точку;
  • следите за ходом обучения с помощью подходящих метрик оценки и не забывайте…

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды