О чём урок
Видео: youtube.com/watch?v=zsfR7eY9Uho
В разделе «На что способны трансформеры?» вы познакомились с обработкой естественного языка (NLP), распознаванием речи и аудио, задачами компьютерного зрения и некоторыми важными областями их применения. На этой странице мы подробно разберём, как модели решают такие задачи, и объясним, что происходит «под капотом». Существует множество способов решения той или иной задачи: одни модели используют особые приёмы или даже подходят к задаче с новой стороны, но для трансформеров общая идея остаётся неизменной. Благодаря гибкой архитектуре большинство моделей представляют собой вариант энкодера, декодера либо структуры энкодер-декодер.
[!TIP] Прежде чем переходить к конкретным архитектурным вариантам, полезно понять, что большинство задач следуют схожей схеме: входные данные проходят через модель, а результат интерпретируется применительно к конкретной задаче. Различия заключаются в том, как подготавливаются данные, какой вариант архитектуры модели используется и как обрабатывается результат.
Чтобы объяснить, как решаются задачи, мы разберём, что происходит внутри модели при формировании полезных предсказаний. Мы рассмотрим следующие модели и соответствующие им задачи:
- Wav2Vec2 для классификации аудио и автоматического распознавания речи (ASR)
- Vision Transformer (ViT) и ConvNeXT для классификации изображений
- DETR для обнаружения объектов
- Mask2Former для сегментации изображений
- GLPN для оценки глубины
- BERT для задач NLP вроде классификации текста, классификации токенов и ответов на вопросы, использующих энкодер
- GPT2 для задач NLP вроде генерации текста, использующих декодер
- BART для задач NLP вроде суммаризации и перевода, использующих структуру энкодер-декодер
[!TIP] Прежде чем двигаться дальше, полезно иметь базовое представление об исходной архитектуре трансформера. Понимание того, как работают энкодеры, декодеры и механизм внимания, поможет вам разобраться в устройстве различных моделей-трансформеров. Обязательно загляните в предыдущий раздел за подробностями!
Языковые модели лежат в основе современной NLP. Они предназначены для понимания и генерации человеческого языка путём изучения статистических закономерностей и связей между словами или токенами в тексте.
Изначально трансформер был создан для машинного перевода, но с тех пор стал архитектурой по умолчанию для…
План урока
- Трансформеры для работы с языком
- Как работают языковые модели
- Типы языковых моделей
- Генерация текста
- Классификация текста
- Классификация токенов
- Ответы на вопросы
- Суммаризация
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.