О чём урок
Проблемы с границами возникают, когда модель сталкивается с неожиданными последовательностями токенов, что приводит к неточным предсказаниям. Например, модель может испытывать трудности с такими последовательностями, как http + s, которые она никогда не видела во время обучения, если вместо них она видела https.
Для решения проблем с границами функция Token Healing удаляет последний токен последовательности и ограничивает генерацию следующего токена таким образом, чтобы он начинался со строки, соответствующей удалённому токену. Это решает проблемы с границами ценой одной генерации токена.
Управляющие токены решают множество проблем одновременно, но давайте сосредоточимся на трёх из них:
- Эффективность: Управляющие токены позволяют повысить эффективность за счёт использования меньшего количества токенов.
- Безопасность: Управляющие токены делают модели более устойчивыми к prompt injections.
- Проблемы с границами: Управляющие токены также помогают смягчить проблемы с границами по умолчанию.
Ранее мы выполняли кодирование следующим образом:
Наша проблема с эффективностью проистекает из того факта, что специальные строки [INST] и [/INST] токенизируются обычным образом вместе с остальным текстом. Почему это неэффективно? Насколько нам известно, токенизатор может кодировать их как [ + INST + ] или [/ + INST + ], то есть три токена на строку. Это неэффективно, если учесть, что эти две строки будут присутствовать повсюду и постоянно.
Что касается безопасности, представим, что наша модель используется в чат-приложении. Сам пользователь может вставлять специальные строки в своё сообщение, и ничто ему не помешает. В итоге мы можем получить нечто подобное:
Это полностью нарушает шаблон, позволяя пользователю внедрять код и нарушать ожидаемое поведение модели.
Идея управляющих токенов заключается во внедрении на этапе fine-tuning новых токенов, которые модель никогда ранее не видела и которые пользователь никогда не сможет внедрить просто потому, что они не существуют в строковом спектре, а существуют только как ID токена. По сути, мы добавляем новые ID токенов, которые заменят наши специальные строки.
Таким образом, вместо того чтобы инкапсулировать инструкции пользователя с помощью наших специальных строк, мы будем инкапсулировать их непосредственно с помощью…
План урока
- Управляющие токены
- Границы - Напоминание
- Токенизатор V2/V3
- Токенизатор V3-Tekken
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.