Как устроен вызов инструментов

О чём урок

Прочитайте сопутствующую статью здесь. В этом блокноте мы разберем ключевые компоненты системы использования инструментов и то, как выглядит рабочий процесс использования инструментов. И мы сделаем это на конкретном примере кода. Мы рассмотрим вариант использования RAG-ассистента, который может запрашивать базу данных продаж компании электронной коммерции. Сначала установим Cohere Python SDK и настроим клиент Cohere. Предварительное условие, или Шаг 0, прежде чем мы сможем запустить рабочий процесс использования инструментов, — это настройка инструментов. Мы можем разбить это на два шага: Создание инструмента Определение схемы инструмента Давайте создадим функцию для запроса базы данных продаж под названием daily_sales_report и представим ее как инструмент. Для простоты она содержит макет базы данных, состоящий всего из трех записей данных, и логику для возврата данных по запросу пользователя. В этом примере мы определяем функцию Python как инструмент. Но в более широком смысле инструмент может быть любой функцией или сервисом, который может принимать и отправлять данные. Это может быть служба электронной почты, база данных SQL, векторная база данных, служба данных о погоде, служба спортивных данных, поисковая система или даже другая LLM, просто чтобы привести несколько примеров. Далее мы определяем схему инструмента для инструмента базы данных продаж. Эта схема будет передана в Cohere API при запуске рабочего процесса использования инструментов. Эта схема информирует LLM о том, что делает инструмент, и LLM решает, использовать ли конкретный инструмент на ее основе. Следовательно, чем более описательна и специфична схема, тем выше вероятность того, что LLM примет правильные решения о вызове инструмента. Необязательный шаг — добавление пользовательской преамбулы, которая является системным сообщением LLM. Рекомендуемый подход — использовать два заголовка Markdown H2: "Задача и контекст" и "Руководство по стилю" в точном порядке. Это совершенно необязательный шаг, хотя он, вероятно, необходим, если мы хотим создать надежное и отказоустойчивое приложение.

План урока

1. 2. Определение схемы инструмента
2. 3. Определение преамбулы (необязательно)
3. 1. Получить сообщение пользователя
4. 2. Сгенерировать вызовы инструментов
5. 3. Получить результаты инструментов
6. 4. Сгенерировать ответ и ссылки