Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 16 · Текст · ~5 мин

Как работает токенизатор Mistral

Урок 16 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Токенизатор отвечает за преобразование запроса, часто представляющего собой строку, в последовательность ID токенов, которую модель будет получать в качестве входных данных. Токен может быть чем угодно: от отдельного символа до subword или знака. Модель обладает словарём токенов с соответствующими им ID. Задача токенизатора — разбить строку на части и преобразовать её в последовательность ID токенов, этот шаг называется кодированием. Также задача токенизатора — преобразовать последовательность ID обратно в строку, этот шаг называется декодированием. Получив последовательность ID токенов, модель пытается предсказать следующий токен.

Для простоты будем рассматривать токены как целые слова.

Представим сценарий, в котором у нас есть следующее предложение: «Hello, how are»

  1. Токенизатор сначала разобьёт предложение на отдельные части, или токены. Например: Hello,
  2. how
  3. are
  4. Затем токенизатор получит ID токена, соответствующий каждому токену. Например: Hello, -> 432
  5. how -> 523
  6. are -> 87
  1. Модель попытается предсказать следующий токен. Допустим, она предсказывает: 75
  2. 432 + 523 + 87 + 75
  3. Эту последовательность можно декодировать обратно в полную строку: Hello, + how + are + you -> Hello, how are you

Существует множество способов создания токенизаторов с использованием различных подходов...

Простым токенизатором является ASCII/символьный токенизатор, где каждый символ и знак ASCII рассматривается как токен. Этот подход прост, но имеет несколько недостатков:

  • Медленное предсказание: Предсказание символа за символом неэффективно.
  • Статистические ошибки: Склонен к ошибкам из-за гранулярности токенов.
  • Соотношение информации к длине последовательности: Более низкое соотношение информации к длине последовательности.

Другой тип — пословный токенизатор, где каждое слово рассматривается как токен. Хотя это может показаться интуитивным, такой подход не оптимизирован. Например, рассмотрим следующие слова:

  • "fast"
  • "fastest"
  • "faster"
  • "slow"
  • "slowest"
  • "slower"

Пословный токенизатор преобразовал бы их в 6 токенов. Однако более эффективным подходом было бы использование subword tokens:

  • "fast"
  • "est"
  • "er"
  • "slow"

Имея всего 4 токена, мы можем воспроизвести исходные 6 слов, комбинируя их.

Byte Pair Encoding (BPE) — это простая техника сжатия данных, используемая в токенизации. Она работает путём итеративного объединения наиболее часто встречающейся биграммы (пары последовательных…

План урока

  1. Введение
  2. Кодирование
  3. Декодирование
  4. Типы токенизаторов
  5. ASCII/символьный токенизатор
  6. Пословный токенизатор
  7. BPE и другие
  8. Пример

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды