Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 15 · Текст · ~5 мин

Токенизация: шаблоны чата

Урок 15 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Эталонную информацию можно найти в mistral-common.

Шаблон чата для Токенизатора V1 выглядит следующим образом:

В mistral-common системный prompt по умолчанию добавляется перед первым сообщением пользователя (вы можете настроить это по своему усмотрению)

Шаблон Jinja:

Пример кода для кодирования:

Базовый шаблон чата для Токенизаторов V2 и V3 выглядит следующим образом:

В mistral-common системный prompt по умолчанию добавляется перед последним сообщением пользователя (вы можете настроить это по своему усмотрению) Основное различие между V2 и V3 касается tool calling.

Шаблон Jinja:

Пример кода для кодирования:

По вопросам Tool Calling обращайтесь к этому разделу.

Шаблон чата для Токенизатора V3-Tekken выглядит следующим образом:

Шаблон Jinja:

Пример кода для кодирования:

По вопросам Tool Calling обращайтесь к этому разделу.

План урока

  1. Шаблоны
  2. Подробнее
  3. Токенизатор V1
  4. Токенизатор V2/V3
  5. Токенизатор V3-Tekken

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды