Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 17 · Текст · ~5 мин

Токенизация при вызове инструментов

Урок 17 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Вызов инструментов (Tool calling) — это функция, которая позволяет модели взаимодействовать с внешними инструментами или API. Модели предоставляется список инструментов, из которых она может выбирать, затем результат работы инструмента передается модели. Это может быть полезно для задач, требующих извлечения информации, вычислений или других функций, которые модель не может выполнить самостоятельно. Функция вызова инструментов реализована с использованием управляющих токенов для обеспечения эффективности, безопасности и корректной обработки границ.

Токенизация — это процесс преобразования строки в последовательность идентификаторов токенов. Токены могут быть символами, подсловами или знаками. Токенизатор разбивает строку на токены и преобразует их в идентификаторы (кодирование) и наоборот (декодирование). Затем модель предсказывает следующий токен на основе последовательности. Например, предложение "Hello, how are" может быть токенизировано следующим образом: Hello, -> 432, how -> 523, are -> 87. Модель предсказывает следующий токен, например 75 (декодируемый как you), что позволяет ей генерировать связный текст.

Управляющие токены решают проблемы эффективности, безопасности и обработки границ. Они вводят новые токены, которые модель никогда ранее не видела и которые пользователь никогда не будет вводить. Эти токены заменяют специальные строки, делая процесс кодирования более эффективным и безопасным. Например, вместо инкапсуляции пользовательских инструкций специальными строками, мы используем идентификаторы управляющих токенов напрямую.

Идея заключается в следующем:

  • Пользователь предоставляет набор инструментов и делает запрос к модели.
  • Ассистент решает, что делать. Если ему не нужен инструмент, он ответит (можно принудить модель выбрать инструмент). В противном случае: Ассистент отвечает вызовом инструмента, указывая инструмент, который он хочет использовать, и аргументы.
  • Пользователь запускает инструмент и предоставляет результат.
  • Ассистент отвечает, зная результат.

Токенизатор V2 вводит управляющие токены для вызова инструментов. Эти токены включают:

  • BEGIN_AVAILABLE_TOOLS и END_AVAILABLE_TOOLS: Управляющие токены для начала и конца списка доступных инструментов.
  • BEGIN_TOOL_RESULTS и END_TOOL_RESULTS: Управляющие токены для начала и конца результатов работы инструментов.
  • TOOL_CALLS: Управляющий токен для вызовов инструментов.

Рассмотрим сценарий, в котором пользователь просит модель выполнить вычисление с помощью…

План урока

  1. Вызов инструментов
  2. Токенизация – Краткий обзор
  3. Управляющие токены – Краткий обзор
  4. Общая концепция
  5. Токенизатор V2
  6. Сценарий: Пользователь запрашивает вычисление
  7. Токенизатор V3
  8. Токенизатор V3 - Tekken

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды