Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 11 · Текст · ~5 мин

Итоги главы

Урок 11 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этой главе вы познакомились с основами моделей Transformer, большими языковыми моделями (LLM) и тем, как они совершают революцию в ИИ и за его пределами.

Мы разобрались, что такое NLP, и как большие языковые модели изменили эту область. Вы узнали, что:

  • NLP охватывает широкий спектр задач: от классификации до генерации текста
  • LLM — это мощные модели, обученные на огромных объёмах текстовых данных
  • Такие модели способны решать множество задач в рамках одной архитектуры
  • Несмотря на свои возможности, LLM имеют ограничения, включая галлюцинации и предвзятость

Вы увидели, как функция pipeline() из 🤗 Transformers позволяет легко применять предобученные модели для решения различных задач:

  • Классификация текста, классификация токенов и ответы на вопросы
  • Генерация текста и суммаризация
  • Перевод и другие задачи типа «последовательность в последовательность»
  • Распознавание речи и классификация изображений

Мы обсудили, как работают модели Transformer на общем уровне, в том числе:

  • Важность механизма внимания
  • Как transfer learning позволяет моделям адаптироваться под конкретные задачи
  • Три основных архитектурных варианта: только энкодер, только декодер и энкодер-декодер

Ключевой темой этой главы было понимание того, какую архитектуру выбирать для разных задач:

Вы также узнали о последних тенденциях в этой области:

  • Как со временем росли размеры и возможности LLM
  • Понятие законов масштабирования и их роль в развитии моделей
  • Специализированные механизмы внимания, помогающие моделям обрабатывать более длинные последовательности
  • Двухэтапный подход к обучению: предобучение и instruction tuning

На протяжении всей главы вы видели, как эти модели применяются для решения реальных задач:

  • Использование Hugging Face Hub для поиска и применения предобученных моделей
  • Использование Inference API для тестирования моделей прямо в браузере
  • Понимание того, какие модели лучше всего подходят для конкретных задач

Теперь, когда у вас сложилось прочное общее понимание того, что такое модели Transformer и как они работают, вы готовы углубиться в то, как эффективно их использовать. В следующих главах вы научитесь:

  • Использовать библиотеку Transformers для загрузки и fine-tuning моделей
  • Обрабатывать разные типы данных для…

План урока

  1. Основные рассмотренные концепции
  2. Обработка естественного языка и LLM
  3. Возможности Transformer
  4. Архитектура Transformer
  5. Архитектуры моделей и их применение
  6. Современные достижения в области LLM
  7. Практическое применение
  8. Что дальше

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды