Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 11 · Текст · ~5 мин

Токенизация: основы

Урок 11 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

LLM (большие языковые модели), какими мы их знаем сегодня, являются преимущественно авторегрессионными моделями, основанными на архитектуре трансформеров. Хотя их применение разнообразно и поражает мир высококвалифицированными чат-ботами, базовая технология следует простому принципу: LLM можно описать как машины для завершения текста. Получив предложение, текст или строку, модель разбивает его на несколько частей, называемых "токенами". Обученная на последовательностях этих токенов, модель предсказывает следующий токен для завершения последовательности.

Токенизация — это процесс преобразования запроса, часто строки, в последовательность идентификаторов токенов, которую модель получит в качестве входных данных. Токен может быть чем угодно: от отдельного символа до подслова или символа. Модель обладает словарём токенов с соответствующими им идентификаторами. Задача токенизатора — разбить строку и преобразовать её в последовательность идентификаторов токенов, этот шаг называется "кодированием" (encoding). Также задача токенизатора — преобразовать последовательность идентификаторов обратно в строку, этот шаг называется "декодированием" (decoding). Получив последовательность идентификаторов токенов, модель пытается предсказать следующий токен.

Для простоты давайте опишем токены как символы и целые слова.

Представьте сценарий, в котором у нас есть следующее предложение: "Hello, how are"

  1. Токенизатор сначала разобьёт предложение на разные части, или токены. Например: Hello,
  2. how
  3. are
  4. Затем токенизатор получит идентификатор токена (token ID), соответствующий каждому токену. Например: Hello, -> 432
  5. how -> 523
  6. are -> 87
  7. Модель попытается предсказать следующий токен. Допустим, она предсказывает: 75
  8. 432 + 523 + 87 + 75
  9. Эту последовательность можно декодировать обратно в полную строку: Hello, + how + are + you -> Hello, how are you

Затем мы можем повторять этот процесс столько раз, сколько потребуется.

  1. Модель снова попытается предсказать следующий токен. Допустим, она предсказывает: 868
  2. 432 + 523 + 87 + 75 + 868
  3. Эта последовательность будет декодирована обратно в полную строку: Hello, + how + are + you + ? -> Hello, how are you?

Этот итеративный процесс кодирования (encoding), предсказания и декодирования (decoding) позволяет модели генерировать связный и контекстуально релевантный текст.

Вы можете узнать больше о том, как создать свой собственный токенизатор здесь!

Теперь можно задаться вопросом, как общаться с LLM…

План урока

  1. Основы
  2. LLM - Краткий обзор
  3. Что такое токенизация?
  4. Как общаться с моделью?

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды