Токенизация: шаблоны чата

О чём урок

Эталонную информацию можно найти в mistral-common. Токенизатор Основан на Модели Базовый строковый шаблон чата Токенизатор V1 sentencepiece Mistral-7B-v0.1, Mistral-7B-Instruct-v0.1, Mistral-7B-v0.2, Mistral-7B-Instruct-v0.2, Mixtral-8x7B-v0.1, Mixtral-8x7B-Instruct-v0.1, Mixtral-8x22B-v0.1 <s> [INST] Hello, how are you? [/INST] Fine, and you?</s> [INST] I'm doing great! [/INST] Glad to hear!</s> Токенизатор V2 sentencepiece Модели с доступными весами не выпущены <s>[INST] Hello, how are you?[/INST] Fine, and you?</s>[INST] I'm doing great![/INST] Glad to hear!</s> Токенизатор V3 sentencepiece Mixtral-8x22B-Instruct-v0.1, Mistral-7B-v0.3, Mistral-7B-Instruct-v0.3, Codestral-22B-v0.1, Mathstral-7B-v0.3, Mamba-Codestral-7B-v0.1, Mistral-Large-123B-Instruct-2407, Mistral Small 22B Instruct 2407 <s>[INST] Hello, how are you?[/INST] Fine, and you?</s>[INST] I'm doing great![/INST] Glad to hear!</s> Токенизатор V3-Tekken tiktoken Mistral-Nemo-12B-2407, Mistral-Nemo-12B-Instruct-2407, Pixtral-12B-2409, Ministral-8B-Instruct-2410 <s>[INST]Hello, how are you?[/INST]Fine, and you?</s>[INST]I'm doing great![/INST]Glad to hear!</s> V1 Шаблон чата для Токенизатора V1 выглядит следующим образом: В mistral-common системный prompt по умолчанию добавляется перед первым сообщением пользователя (вы можете настроить это по своему усмотрению) Шаблон Jinja: Пример кода для кодирования: V2/V3 Базовый шаблон чата для Токенизаторов V2 и V3 выглядит следующим образом: В mistral-common системный prompt по умолчанию добавляется перед последним сообщением пользователя (вы можете настроить это по своему усмотрению) Основное различие между V2 и V3 касается tool calling. Шаблон Jinja: Пример кода для кодирования: По вопросам Tool Calling обращайтесь к этому разделу. V3-Tekken Шаблон чата для Токенизатора V3-Tekken выглядит следующим образом: Шаблон Jinja: Пример кода для кодирования: По вопросам Tool Calling обращайтесь к этому разделу.

План урока

1. Шаблоны
2. Подробнее
3. Токенизатор V1
4. Токенизатор V2/V3
5. Токенизатор V3-Tekken