Глава 2. Генерация текста

Цели урока

• Базовая генерация текста
• Prompt engineering
• Параметры для управления выводом
• Генерация структурированного вывода
• Потоковый вывод

О чём урок

Command — это флагманская LLM от Cohere. Она генерирует ответ на основе сообщения пользователя или prompt. Она обучена следовать командам пользователя и быть мгновенно полезной в практических бизнес-приложениях, таких как суммаризация, копирайтинг, извлечение информации и ответы на вопросы. Command R и Command R+ — это самые последние модели в семействе Command. Это лидирующие на рынке модели, которые сочетают высокую эффективность с высокой точностью, позволяя предприятиям переходить от стадии proof of concept к AI производственного уровня. Вы будете использовать Chat, endpoint Cohere для доступа к моделям Command. В этом руководстве вы узнаете о: Вы изучите это, создавая помощника по адаптации для новых сотрудников. Для начала нам нужно установить библиотеку cohere и создать клиент Cohere. Чтобы начать работу с Chat, нам нужно передать всего один параметр, message, представляющий сообщение пользователя. Затем мы вызываем endpoint Chat через клиент, который мы создали ранее. Ответ содержит несколько объектов. Для простоты, то, что нам сейчас нужно, это объект text. Вот пример того, как помощник отвечает на запрос нового сотрудника, просящего помощи в написании представлений. Дополнительная литература: Справочник по API endpoint Chat Документация по тонкой настройке Chat Документация по Command R+ Модуль LLM University по генерации текста Prompting лежит в основе работы с LLM. Prompt предоставляет контекст для текста, который мы хотим, чтобы модель сгенерировала. Создаваемые нами prompt'ы могут быть чем угодно — от простых инструкций до более сложных фрагментов текста, и они используются для побуждения модели к созданию определенного типа вывода. В этом разделе мы рассмотрим несколько техник prompting. Первая — добавление более конкретных инструкций к prompt. Чем больше инструкций вы предоставляете в prompt, тем ближе вы можете подойти к требуемому ответу. Ограничение на длину prompt зависит от максимальной длины контекста, которую может поддерживать модель (в случае Command R/R+ это 128k tokens). Ниже мы добавим одну дополнительную инструкцию к предыдущему prompt: требуемую длину ответа.

План урока

1. Настройка
2. Базовая генерация текста
3. Prompt engineering
4. Параметры для управления выводом
5. Генерация структурированного вывода
6. Потоковые ответы
7. Заключение