Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 14 · Текст · ~5 мин

Токенизация: управляющие токены

Урок 14 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Проблемы с границами возникают, когда модель сталкивается с неожиданными последовательностями токенов, что приводит к неточным предсказаниям. Например, модель может испытывать трудности с такими последовательностями, как http + s, которые она никогда не видела во время обучения, если вместо них она видела https.

Для решения проблем с границами функция Token Healing удаляет последний токен последовательности и ограничивает генерацию следующего токена таким образом, чтобы он начинался со строки, соответствующей удалённому токену. Это решает проблемы с границами ценой одной генерации токена.

Управляющие токены решают множество проблем одновременно, но давайте сосредоточимся на трёх из них:

  • Эффективность: Управляющие токены позволяют повысить эффективность за счёт использования меньшего количества токенов.
  • Безопасность: Управляющие токены делают модели более устойчивыми к prompt injections.
  • Проблемы с границами: Управляющие токены также помогают смягчить проблемы с границами по умолчанию.

Ранее мы выполняли кодирование следующим образом:

Наша проблема с эффективностью проистекает из того факта, что специальные строки [INST] и [/INST] токенизируются обычным образом вместе с остальным текстом. Почему это неэффективно? Насколько нам известно, токенизатор может кодировать их как [ + INST + ] или [/ + INST + ], то есть три токена на строку. Это неэффективно, если учесть, что эти две строки будут присутствовать повсюду и постоянно.

Что касается безопасности, представим, что наша модель используется в чат-приложении. Сам пользователь может вставлять специальные строки в своё сообщение, и ничто ему не помешает. В итоге мы можем получить нечто подобное:

Это полностью нарушает шаблон, позволяя пользователю внедрять код и нарушать ожидаемое поведение модели.

Идея управляющих токенов заключается во внедрении на этапе fine-tuning новых токенов, которые модель никогда ранее не видела и которые пользователь никогда не сможет внедрить просто потому, что они не существуют в строковом спектре, а существуют только как ID токена. По сути, мы добавляем новые ID токенов, которые заменят наши специальные строки.

Таким образом, вместо того чтобы инкапсулировать инструкции пользователя с помощью наших специальных строк, мы будем инкапсулировать их непосредственно с помощью…

План урока

  1. Управляющие токены
  2. Границы - Напоминание
  3. Токенизатор V2/V3
  4. Токенизатор V3-Tekken

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды