Токенизация при вызове инструментов

О чём урок

Вызов инструментов (Tool calling) — это функция, которая позволяет модели взаимодействовать с внешними инструментами или API. Модели предоставляется список инструментов, из которых она может выбирать, затем результат работы инструмента передается модели. Это может быть полезно для задач, требующих извлечения информации, вычислений или других функций, которые модель не может выполнить самостоятельно. Функция вызова инструментов реализована с использованием управляющих токенов для обеспечения эффективности, безопасности и корректной обработки границ. Токенизация — это процесс преобразования строки в последовательность идентификаторов токенов. Токены могут быть символами, подсловами или знаками. Токенизатор разбивает строку на токены и преобразует их в идентификаторы (кодирование) и наоборот (декодирование). Затем модель предсказывает следующий токен на основе последовательности. Например, предложение "Hello, how are" может быть токенизировано следующим образом: Hello, -> 432, how -> 523, are -> 87. Модель предсказывает следующий токен, например 75 (декодируемый как you), что позволяет ей генерировать связный текст. Управляющие токены решают проблемы эффективности, безопасности и обработки границ. Они вводят новые токены, которые модель никогда ранее не видела и которые пользователь никогда не будет вводить. Эти токены заменяют специальные строки, делая процесс кодирования более эффективным и безопасным. Например, вместо инкапсуляции пользовательских инструкций специальными строками, мы используем идентификаторы управляющих токенов напрямую. Идея заключается в следующем: Пользователь предоставляет набор инструментов и делает запрос к модели. Ассистент решает, что делать. Если ему не нужен инструмент, он ответит (можно принудить модель выбрать инструмент). В противном случае: Ассистент отвечает вызовом инструмента, указывая инструмент, который он хочет использовать, и аргументы. Пользователь запускает инструмент и предоставляет результат. Ассистент отвечает, зная результат. Токенизатор V2 вводит управляющие токены для вызова инструментов. Эти токены включают: BEGIN_AVAILABLE_TOOLS и END_AVAILABLE_TOOLS: Управляющие токены для начала и конца списка доступных инструментов. BEGIN_TOOL_RESULTS и END_TOOL_RESULTS: Управляющие токены для начала и конца результатов работы инструментов. TOOL_CALLS: Управляющий токен для вызовов инструментов.

План урока

1. Вызов инструментов
2. Токенизация – Краткий обзор
3. Управляющие токены – Краткий обзор
4. Общая концепция
5. Токенизатор V2
6. Сценарий: Пользователь запрашивает вычисление
7. Токенизатор V3
8. Токенизатор V3 - Tekken