Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 06 · Текст · ~5 мин

Как трансформеры решают задачи

Урок 6 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Видео: youtube.com/watch?v=zsfR7eY9Uho

В разделе «На что способны трансформеры?» вы познакомились с обработкой естественного языка (NLP), распознаванием речи и аудио, задачами компьютерного зрения и некоторыми важными областями их применения. На этой странице мы подробно разберём, как модели решают такие задачи, и объясним, что происходит «под капотом». Существует множество способов решения той или иной задачи: одни модели используют особые приёмы или даже подходят к задаче с новой стороны, но для трансформеров общая идея остаётся неизменной. Благодаря гибкой архитектуре большинство моделей представляют собой вариант энкодера, декодера либо структуры энкодер-декодер.

[!TIP] Прежде чем переходить к конкретным архитектурным вариантам, полезно понять, что большинство задач следуют схожей схеме: входные данные проходят через модель, а результат интерпретируется применительно к конкретной задаче. Различия заключаются в том, как подготавливаются данные, какой вариант архитектуры модели используется и как обрабатывается результат.

Чтобы объяснить, как решаются задачи, мы разберём, что происходит внутри модели при формировании полезных предсказаний. Мы рассмотрим следующие модели и соответствующие им задачи:

  • Wav2Vec2 для классификации аудио и автоматического распознавания речи (ASR)
  • Vision Transformer (ViT) и ConvNeXT для классификации изображений
  • DETR для обнаружения объектов
  • Mask2Former для сегментации изображений
  • GLPN для оценки глубины
  • BERT для задач NLP вроде классификации текста, классификации токенов и ответов на вопросы, использующих энкодер
  • GPT2 для задач NLP вроде генерации текста, использующих декодер
  • BART для задач NLP вроде суммаризации и перевода, использующих структуру энкодер-декодер

[!TIP] Прежде чем двигаться дальше, полезно иметь базовое представление об исходной архитектуре трансформера. Понимание того, как работают энкодеры, декодеры и механизм внимания, поможет вам разобраться в устройстве различных моделей-трансформеров. Обязательно загляните в предыдущий раздел за подробностями!

Языковые модели лежат в основе современной NLP. Они предназначены для понимания и генерации человеческого языка путём изучения статистических закономерностей и связей между словами или токенами в тексте.

Изначально трансформер был создан для машинного перевода, но с тех пор стал архитектурой по умолчанию для…

План урока

  1. Трансформеры для работы с языком
  2. Как работают языковые модели
  3. Типы языковых моделей
  4. Генерация текста
  5. Классификация текста
  6. Классификация токенов
  7. Ответы на вопросы
  8. Суммаризация

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды