Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 26 · Текст · ~5 мин

Как читать кривые обучения модели

Урок 26 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Теперь, когда вы освоили fine-tuning как с помощью Trainer API, так и через собственный цикл обучения, важно научиться правильно интерпретировать результаты. Кривые обучения, это незаменимый инструмент, который помогает оценить, как модель ведёт себя во время обучения, и заметить потенциальные проблемы прежде, чем они скажутся на качестве.

В этом разделе мы разберём, как читать кривые точности и потерь, что говорят нам разные формы этих кривых о поведении модели, и как справляться с типичными проблемами обучения.

Кривые обучения, это графическое отображение метрик качества модели во времени в процессе обучения. Две важнейшие кривые, за которыми стоит следить:

  • Кривая потерь (loss): показывает, как меняется ошибка модели по шагам или эпохам обучения
  • Кривая точности (accuracy): показывает долю верных предсказаний по шагам или эпохам обучения

Эти кривые помогают понять, эффективно ли обучается модель, и подсказывают, какие корректировки стоит внести для улучшения результата. В Transformers эти метрики рассчитываются отдельно для каждого batch и записываются на диск. Затем можно воспользоваться такими библиотеками, как Weights & Biases, чтобы визуализировать эти кривые и отслеживать, как меняется качество модели со временем.

Кривая потерь показывает, как со временем снижается ошибка модели. При удачном обучении вы увидите график, похожий на представленный ниже:

  • Высокое значение потерь в начале: модель ещё не оптимизирована, поэтому предсказания изначально слабые
  • Снижение потерь: по мере обучения значение потерь должно в целом уменьшаться
  • Сходимость: в итоге потери стабилизируются на низком уровне, это означает, что модель усвоила закономерности в данных

Как и в предыдущих главах, можно использовать Trainer API для отслеживания этих метрик и их визуализации в дашборде. Ниже пример того, как это сделать с помощью Weights & Biases.

Кривая точности показывает долю верных предсказаний во времени. В отличие от кривой потерь, кривая точности обычно растёт по мере обучения модели и, как правило, охватывает больше шагов, чем кривая потерь.

  • Начинается с низкого значения: изначальная точность низкая, поскольку модель ещё не усвоила закономерности в…

План урока

  1. Что такое кривые обучения
  2. Кривые потерь
  3. Кривые точности
  4. Сходимость
  5. Как интерпретировать формы кривых обучения
  6. Здоровые кривые обучения
  7. Практические примеры
  8. Во время обучения

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды