Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 13 · Текст · ~5 мин

Как устроены токенизаторы и шаблоны чата Mistral

Урок 13 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

[!ВАЖНО] Этот документ устарел. Пожалуйста, ознакомьтесь с полной, подробной документацией здесь.

От оригинального токенизатора V1 до самых последних токенизаторов V3 и Tekken, токенизаторы Mistral претерпели тонкие изменения, касающиеся токенизации для instruct-моделей. Мы прошли долгий путь в оптимизации и исследованиях, чтобы найти наилучший подход. Сегодня мы углубимся в эти токенизаторы, развенчаем любые источники споров и исследуем, как они работают, какие шаблоны чата (chat templates) следует использовать для каждого из них, а также их историю в сообществе!

В этой статье мы в основном углубимся в токенизацию инструкций и шаблоны чата (chat templates) для простого следования инструкциям. Мы не будем рассматривать вызов функций (function calling) или заполнение середины (fill in the middle).

Достоверную информацию по всем представленным здесь данным можно найти, изучив репозитории на Hugging Face, а также на GitHub, в частности mistral_common.

В mistral-common системный prompt по умолчанию добавляется перед первым сообщением пользователя (его можно настроить по своему усмотрению)

В mistral-common системный prompt по умолчанию добавляется перед последним сообщением пользователя (его можно настроить по своему усмотрению)

FIM

V3 очень похож на V2, единственное отличие касается вызова функций (function calling).

FIM

В mistral-common системный prompt по умолчанию добавляется перед последним сообщением пользователя (его можно настроить по своему усмотрению)

РЕДАКТИРОВАНИЕ: Новый поясняющий документ можно найти в наших cookbooks

Самые первые релизы, Mistral 7B V1 и V2, а также Mixtral 8x7B V1, были встречены сообществом с большим одобрением и любовью. Однако это не предотвратило некоторых разногласий и дебатов внутри сообщества относительно правильных шаблонов чата (chat templates) для instruct-токенизаторов. Сегодня вы можете надежно полагаться на mistral_common как на источник достоверной информации для процесса токенизации, но тогда большая часть сообщества полагалась на доступные Jinja-шаблоны чата!

Сообщество очень быстро заметило несоответствия между токенизаторами и шаблонами чата (chat templates), достигая лучших результатов с помощью пользовательских версий, которые корректировали пробелы вокруг специальных строк.

Токенизатор, используемый для этих первых…

План урока

  1. Токенизатор V1
  2. Токенизатор V2
  3. Токенизатор V3
  4. Токенизатор V3 - Tekken (Nemo)
  5. Шаблон чата для инструкций (Instruct Chat Template)
  6. Логика токенизации инструкций (Instruct Tokenization Logic)
  7. Системный prompt (System Prompt)
  8. Tekken

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды