Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 09 · Текст · ~5 мин

Глубокое погружение в инференс LLM

Урок 9 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Видео: youtube.com/watch?v=Xp2w1_LKZN4

До сих пор мы рассматривали архитектуру трансформера применительно к отдельным задачам: классификации текста, суммаризации и так далее. Однако чаще всего большие языковые модели используются именно для генерации текста, и этому посвящена данная глава.

На этой странице мы разберём ключевые понятия, лежащие в основе инференса LLM, и получим целостное представление о том, как модели генерируют текст и из каких компонентов состоит этот процесс.

Начнём с фундаментальных вещей. Инференс, это процесс использования обученной LLM для генерации текста, похожего на человеческий, на основе заданного запроса. Языковая модель опирается на знания, полученные в ходе обучения, и формирует ответ слово за словом. Модель использует вероятности, выученные на основе миллиардов параметров, чтобы предсказать и сгенерировать следующий токен в последовательности. Именно эта последовательная генерация позволяет LLM создавать связный и уместный по контексту текст.

Именно механизм внимания даёт LLM способность понимать контекст и генерировать связные ответы. При предсказании следующего слова не все слова в предложении имеют одинаковый вес: например, в предложении «Столица Франции — это...» слова «Франция» и «столица» критически важны для того, чтобы понять, что дальше должно идти слово «Париж». Именно эту способность сосредотачиваться на значимой информации мы называем вниманием.

Этот процесс выделения наиболее релевантных слов для предсказания следующего токена оказался чрезвычайно эффективным. И хотя базовый принцип обучения LLM, предсказание следующего токена, в целом остаётся неизменным со времён BERT и GPT-2, произошли значительные сдвиги в масштабировании нейронных сетей и в том, как заставить механизм внимания работать со всё более длинными последовательностями при всё меньших затратах.

[!TIP] Иначе говоря, именно механизм внимания позволяет LLM генерировать текст, одновременно связный и учитывающий контекст. Это то, что отличает современные LLM от языковых моделей предыдущих поколений.

Теперь, когда мы разобрались с вниманием, посмотрим, какой объём контекста модель способна реально обработать. Это подводит нас к понятию длины контекста, или «объёма внимания» модели.

Длина контекста, это максимальное количество…

План урока

  1. Разбираемся с основами
  2. Роль механизма внимания
  3. Длина контекста и объём внимания
  4. Искусство составления запросов
  5. Двухфазный процесс инференса
  6. Фаза предзаполнения
  7. Фаза декодирования
  8. Стратегии сэмплирования

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды