Cohere на AWS: генерация текста в Bedrock

О чём урок

Семейство моделей Cohere Command, доступное на Amazon Bedrock, представляет собой мощные LLM, предлагающие эти возможности. Сюда входят передовые модели, такие как Command R и Command R+ В этом ноутбуке мы рассмотрим, как использовать модель Cohere Command R+ на Amazon Bedrock. Мы будем использовать сценарий агента поддержки клиентов в качестве примера и охватим ряд задач, включая генерацию текста, суммаризацию, переписывание и извлечение. Сначала установим и импортируем необходимые библиотеки, а также настроим наш клиент Cohere с помощью Cohere SDK. Для использования Bedrock мы создаем BedrockClient, передавая необходимые учетные данные AWS. Прежде чем начать, давайте создадим некоторый контекст для использования в наших задачах генерации текста. В этом примере мы будем использовать FAQ по технической поддержке в качестве нашего контекста: Теперь давайте определим функцию для генерации текста с использованием модели Command R+ на Bedrock. Давайте используем наш FAQ по технической поддержке в качестве контекста и сгенерируем ответ на запрос клиента. Теперь давайте суммируем запрос клиента в одно короткое предложение. Далее давайте перепишем сгенерированный ответ в формат электронного письма. Теперь давайте извлечем некоторую информацию из запроса клиента и ответа. Все наши примеры до сих пор работали в режиме однократного взаимодействия. Но с помощью Chat endpoint мы можем создать чат-бота, который сохраняет память обо всех предыдущих взаимодействиях. Это позволяет разработчикам создавать приложения в стиле чат-ботов, которые поддерживают состояние разговора. Ниже приведена реализация простого чат-бота в условиях поддержки клиентов, где чат-бот выступает в роли полезного агента поддержки клиентов. Для этого мы вводим несколько дополнительных параметров для Chat endpoint: preamble: Preamble содержит инструкции, помогающие направить ответ чат-бота к определенным характеристикам, таким как персона, стиль или формат. Здесь мы используем простое preamble: «Вы — полезный агент поддержки клиентов, который помогает клиентам службы мобильной сети».