Cohere на AWS: инструменты в Bedrock

О чём урок

Использование инструментов (Tool use) расширяет идеи RAG, позволяя создавать приложения, которые не только могут отвечать на вопросы, но и автоматизировать задачи. При подходе с использованием инструментов внешние системы используются для направления ответа LLM, но при этом задействуется гораздо больший набор инструментов, чем это возможно с RAG. Концепция использования инструментов расширяет полезную функцию LLM — способность действовать как механизм рассуждения и принятия решений. Использование инструментов также позволяет разработчикам создавать приложения, которые могут выполнять действия, то есть способны выполнять как операции чтения, так и записи во внешней системе. В этом блокноте мы увидим, как создать приложение, использующее инструменты. Мы будем использовать модель Command R+ от Cohere на Amazon Bedrock. Мы создадим помощника по адаптации, который поможет новым сотрудникам вымышленной компании Co1t освоиться в течение первой недели. Помощник может отвечать на вопросы пользователей о компании, искать информацию в электронных письмах и создавать встречи. Сначала установим и импортируем необходимые библиотеки и настроим наш клиент Cohere с помощью Cohere SDK. Для использования Bedrock мы создаем BedrockClient, передавая необходимые учетные данные AWS. Предварительным условием, прежде чем мы сможем запустить рабочий процесс использования инструментов, является их настройка. Давайте создадим три инструмента. Здесь мы определяем функцию Python для каждого инструмента, но в более широком смысле инструмент может быть любой функцией или службой, которая может принимать и отправлять объекты. Следующий шаг — определить схемы инструментов в формате, который может быть передан в Chat endpoint. Схема должна содержать следующие поля: name, description и parameter_definitions в формате, показанном ниже. Теперь мы можем запустить рабочий процесс использования инструментов.

План урока

1. Одношаговый режим
2. Многошаговый режим