О чём урок
Теперь, когда вы освоили fine-tuning как с помощью Trainer API, так и через собственный цикл обучения, важно научиться правильно интерпретировать результаты. Кривые обучения, это незаменимый инструмент, который помогает оценить, как модель ведёт себя во время обучения, и заметить потенциальные проблемы прежде, чем они скажутся на качестве.
В этом разделе мы разберём, как читать кривые точности и потерь, что говорят нам разные формы этих кривых о поведении модели, и как справляться с типичными проблемами обучения.
Кривые обучения, это графическое отображение метрик качества модели во времени в процессе обучения. Две важнейшие кривые, за которыми стоит следить:
- Кривая потерь (loss): показывает, как меняется ошибка модели по шагам или эпохам обучения
- Кривая точности (accuracy): показывает долю верных предсказаний по шагам или эпохам обучения
Эти кривые помогают понять, эффективно ли обучается модель, и подсказывают, какие корректировки стоит внести для улучшения результата. В Transformers эти метрики рассчитываются отдельно для каждого batch и записываются на диск. Затем можно воспользоваться такими библиотеками, как Weights & Biases, чтобы визуализировать эти кривые и отслеживать, как меняется качество модели со временем.
Кривая потерь показывает, как со временем снижается ошибка модели. При удачном обучении вы увидите график, похожий на представленный ниже:
- Высокое значение потерь в начале: модель ещё не оптимизирована, поэтому предсказания изначально слабые
- Снижение потерь: по мере обучения значение потерь должно в целом уменьшаться
- Сходимость: в итоге потери стабилизируются на низком уровне, это означает, что модель усвоила закономерности в данных
Как и в предыдущих главах, можно использовать Trainer API для отслеживания этих метрик и их визуализации в дашборде. Ниже пример того, как это сделать с помощью Weights & Biases.
Кривая точности показывает долю верных предсказаний во времени. В отличие от кривой потерь, кривая точности обычно растёт по мере обучения модели и, как правило, охватывает больше шагов, чем кривая потерь.
- Начинается с низкого значения: изначальная точность низкая, поскольку модель ещё не усвоила закономерности в…
План урока
- Что такое кривые обучения
- Кривые потерь
- Кривые точности
- Сходимость
- Как интерпретировать формы кривых обучения
- Здоровые кривые обучения
- Практические примеры
- Во время обучения
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.