Как устроены токенизаторы и шаблоны чата Mistral

О чём урок

[!ВАЖНО] Этот документ устарел. Пожалуйста, ознакомьтесь с полной, подробной документацией здесь. От оригинального токенизатора V1 до самых последних токенизаторов V3 и Tekken, токенизаторы Mistral претерпели тонкие изменения, касающиеся токенизации для instruct-моделей. Мы прошли долгий путь в оптимизации и исследованиях, чтобы найти наилучший подход. Сегодня мы углубимся в эти токенизаторы, развенчаем любые источники споров и исследуем, как они работают, какие шаблоны чата (chat templates) следует использовать для каждого из них, а также их историю в сообществе! В этой статье мы в основном углубимся в токенизацию инструкций и шаблоны чата (chat templates) для простого следования инструкциям. Мы не будем рассматривать вызов функций (function calling) или заполнение середины (fill in the middle). Достоверную информацию по всем представленным здесь данным можно найти, изучив репозитории на Hugging Face, а также на GitHub, в частности mistral_common. В mistral-common системный prompt по умолчанию добавляется перед первым сообщением пользователя (его можно настроить по своему усмотрению) В mistral-common системный prompt по умолчанию добавляется перед последним сообщением пользователя (его можно настроить по своему усмотрению) FIM V3 очень похож на V2, единственное отличие касается вызова функций (function calling). FIM В mistral-common системный prompt по умолчанию добавляется перед последним сообщением пользователя (его можно настроить по своему усмотрению) РЕДАКТИРОВАНИЕ: Новый поясняющий документ можно найти в наших cookbooks Самые первые релизы, Mistral 7B V1 и V2, а также Mixtral 8x7B V1, были встречены сообществом с большим одобрением и любовью. Однако это не предотвратило некоторых разногласий и дебатов внутри сообщества относительно правильных шаблонов чата (chat templates) для instruct-токенизаторов. Сегодня вы можете надежно полагаться на mistral_common как на источник достоверной информации для процесса токенизации, но тогда большая часть сообщества полагалась на доступные Jinja-шаблоны чата! Сообщество очень быстро заметило несоответствия между токенизаторами и шаблонами чата (chat templates), достигая лучших результатов с помощью пользовательских версий, которые корректировали пробелы вокруг специальных строк.

План урока

1. Токенизатор V1
2. Токенизатор V2
3. Токенизатор V3
4. Токенизатор V3 - Tekken (Nemo)
5. Шаблон чата для инструкций (Instruct Chat Template)
6. Логика токенизации инструкций (Instruct Tokenization Logic)
7. Системный prompt (System Prompt)
8. Tekken