О чём урок
Видео: youtube.com/watch?v=Xp2w1_LKZN4
До сих пор мы рассматривали архитектуру трансформера применительно к отдельным задачам: классификации текста, суммаризации и так далее. Однако чаще всего большие языковые модели используются именно для генерации текста, и этому посвящена данная глава.
На этой странице мы разберём ключевые понятия, лежащие в основе инференса LLM, и получим целостное представление о том, как модели генерируют текст и из каких компонентов состоит этот процесс.
Начнём с фундаментальных вещей. Инференс, это процесс использования обученной LLM для генерации текста, похожего на человеческий, на основе заданного запроса. Языковая модель опирается на знания, полученные в ходе обучения, и формирует ответ слово за словом. Модель использует вероятности, выученные на основе миллиардов параметров, чтобы предсказать и сгенерировать следующий токен в последовательности. Именно эта последовательная генерация позволяет LLM создавать связный и уместный по контексту текст.
Именно механизм внимания даёт LLM способность понимать контекст и генерировать связные ответы. При предсказании следующего слова не все слова в предложении имеют одинаковый вес: например, в предложении «Столица Франции — это...» слова «Франция» и «столица» критически важны для того, чтобы понять, что дальше должно идти слово «Париж». Именно эту способность сосредотачиваться на значимой информации мы называем вниманием.
Этот процесс выделения наиболее релевантных слов для предсказания следующего токена оказался чрезвычайно эффективным. И хотя базовый принцип обучения LLM, предсказание следующего токена, в целом остаётся неизменным со времён BERT и GPT-2, произошли значительные сдвиги в масштабировании нейронных сетей и в том, как заставить механизм внимания работать со всё более длинными последовательностями при всё меньших затратах.
[!TIP] Иначе говоря, именно механизм внимания позволяет LLM генерировать текст, одновременно связный и учитывающий контекст. Это то, что отличает современные LLM от языковых моделей предыдущих поколений.
Теперь, когда мы разобрались с вниманием, посмотрим, какой объём контекста модель способна реально обработать. Это подводит нас к понятию длины контекста, или «объёма внимания» модели.
Длина контекста, это максимальное количество…
План урока
- Разбираемся с основами
- Роль механизма внимания
- Длина контекста и объём внимания
- Искусство составления запросов
- Двухфазный процесс инференса
- Фаза предзаполнения
- Фаза декодирования
- Стратегии сэмплирования
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.