Токенизация: управляющие токены

О чём урок

Проблемы с границами возникают, когда модель сталкивается с неожиданными последовательностями токенов, что приводит к неточным предсказаниям. Например, модель может испытывать трудности с такими последовательностями, как http + s, которые она никогда не видела во время обучения, если вместо них она видела https. Для решения проблем с границами функция Token Healing удаляет последний токен последовательности и ограничивает генерацию следующего токена таким образом, чтобы он начинался со строки, соответствующей удалённому токену. Это решает проблемы с границами ценой одной генерации токена. Управляющие токены решают множество проблем одновременно, но давайте сосредоточимся на трёх из них: Эффективность: Управляющие токены позволяют повысить эффективность за счёт использования меньшего количества токенов. Безопасность: Управляющие токены делают модели более устойчивыми к prompt injections. Проблемы с границами: Управляющие токены также помогают смягчить проблемы с границами по умолчанию. Ранее мы выполняли кодирование следующим образом: Наша проблема с эффективностью проистекает из того факта, что специальные строки [INST] и [/INST] токенизируются обычным образом вместе с остальным текстом. Почему это неэффективно? Насколько нам известно, токенизатор может кодировать их как [ + INST + ] или [/ + INST + ], то есть три токена на строку. Это неэффективно, если учесть, что эти две строки будут присутствовать повсюду и постоянно. Что касается безопасности, представим, что наша модель используется в чат-приложении. Сам пользователь может вставлять специальные строки в своё сообщение, и ничто ему не помешает. В итоге мы можем получить нечто подобное: Это полностью нарушает шаблон, позволяя пользователю внедрять код и нарушать ожидаемое поведение модели. Идея управляющих токенов заключается во внедрении на этапе fine-tuning новых токенов, которые модель никогда ранее не видела и которые пользователь никогда не сможет внедрить просто потому, что они не существуют в строковом спектре, а существуют только как ID токена. По сути, мы добавляем новые ID токенов, которые заменят наши специальные строки.

План урока

1. Управляющие токены
2. Границы - Напоминание
3. Токенизатор V2/V3
4. Токенизатор V3-Tekken