О чём урок
Это была насыщенная глава! В первых двух главах вы познакомились с моделями и токенизаторами, а теперь умеете дообучать их на собственных данных, используя современные лучшие практики. Подведём итоги: в этой главе вы
- узнали о датасетах на Hub и современных методах обработки данных;
- научились эффективно загружать и предобрабатывать датасеты, в том числе с помощью динамического паддинга и data collator'ов;
- реализовали дообучение и оценку модели с помощью высокоуровневого API Trainer, используя самые актуальные возможности;
- написали полный собственный цикл обучения на PyTorch с нуля;
- использовали 🤗 Accelerate, чтобы код обучения без изменений работал на нескольких GPU или TPU;
- применили современные приёмы оптимизации, такие как обучение со смешанной точностью и накопление градиентов.
[!TIP] 🎉 Поздравляем! Вы освоили основы дообучения трансформерных моделей. Теперь вы готовы браться за настоящие проекты в области машинного обучения!
📖 Продолжайте учиться: изучите следующие материалы, чтобы углубить свои знания:
- руководства по задачам 🤗 Transformers для конкретных задач NLP;
- примеры из 🤗 Transformers в виде подробных блокнотов.
🚀 Что дальше:
- попробуйте дообучить модель на собственном датасете, применив полученные знания;
- поэкспериментируйте с разными архитектурами моделей, доступными на Hugging Face Hub;
- присоединяйтесь к сообществу Hugging Face, чтобы делиться своими проектами и получать помощь.
Это лишь начало вашего пути с 🤗 Transformers. В следующей главе мы расскажем, как делиться своими моделями и токенизаторами с сообществом и вносить вклад в постоянно растущую экосистему предобученных моделей.
Навыки, которые вы здесь приобрели, предобработка данных, настройка обучения, оценка и оптимизация, лежат в основе любого проекта по машинному обучению. Чем бы вы ни занимались: классификацией текста, распознаванием именованных сущностей, ответами на вопросы или другой задачей NLP, эти приёмы вам обязательно пригодятся.
[!TIP] 💡 Советы напоследок:
- всегда начинайте с надёжного базового решения на основе API Trainer, прежде чем писать собственный цикл обучения;
- используйте 🤗 Hub, чтобы найти предобученные модели, близкие к вашей задаче, и получить хорошую отправную точку;
- следите за ходом обучения с помощью подходящих метрик оценки и не забывайте…
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.