О чём урок
Если вы планируете использовать предобученную модель или дообученную версию в продакшене, помните: несмотря на всю мощь этих инструментов, у них есть ограничения. Самое серьёзное из них связано с тем, что для предобучения на больших объёмах данных исследователи зачастую собирают весь доступный в интернете контент, беря как лучшее, так и худшее из того, что там есть.
Чтобы наглядно это показать, вернёмся к примеру с pipeline fill-mask на основе модели BERT:
Когда модели предлагают заполнить пропущенное слово в этих двух предложениях, она выдаёт лишь один нейтральный в гендерном отношении вариант (waiter/waitress, то есть официант/официантка). Все остальные профессии обычно ассоциируются с конкретным полом, и да, слово «проститутка» оказалось в пятёрке вариантов, которые модель связывает со словами «женщина» и «работа». И это притом, что BERT, один из немногих Transformer моделей, обучен не на данных, собранных по всему интернету, а на, казалось бы, нейтральных источниках (она обучена на датасетах English Wikipedia и BookCorpus).
Используя эти инструменты, важно помнить: исходная модель, с которой вы работаете, вполне способна генерировать сексистский, расистский или гомофобный контент. Дообучение модели на ваших собственных данных не устранит эту заложенную в ней предвзятость.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.