Глава 2. Генерация текста, новая версия

Цели урока

• Базовая генерация текста
• Prompt engineering
• Параметры для управления выводом
• Генерация структурированного вывода
• Потоковый вывод

О чём урок

Command — это флагманская LLM от Cohere. Она генерирует ответ на основе сообщения пользователя или prompt. Модель обучена следовать командам пользователя и быть мгновенно полезной в практических бизнес-приложениях, таких как суммаризация, копирайтинг, извлечение информации и ответы на вопросы. Command R и Command R+ — это самые новые модели в семействе Command. Это лидирующие на рынке модели, которые сочетают высокую эффективность с высокой точностью, позволяя предприятиям переходить от проверки концепции к ИИ производственного уровня. Вы будете использовать Chat, endpoint Cohere для доступа к моделям Command. В этом руководстве вы узнаете о: Вы изучите это, создав помощника по адаптации для новых сотрудников. Для начала нам нужно установить библиотеку cohere и создать клиент Cohere. Чтобы начать работу с Chat, нам нужно передать два параметра: model для ID модели LLM и messages, куда мы добавляем одно сообщение пользователя. Затем мы вызываем Chat endpoint через клиент, который мы создали ранее. Ответ содержит несколько объектов. Для простоты, то, что нам нужно сейчас, это объект message.content[0].text. Вот пример того, как помощник отвечает на запрос нового сотрудника, просящего помощи в написании представления. Дополнительная литература: Справочник по API Chat endpoint Документация по тонкой настройке Chat Документация по Command R+ Модуль LLM University по генерации текста Prompting лежит в основе работы с LLM. Prompt предоставляет контекст для текста, который мы хотим, чтобы модель сгенерировала. Создаваемые нами prompts могут быть чем угодно, от простых инструкций до более сложных текстовых фрагментов, и они используются для побуждения модели к созданию определенного типа вывода. В этом разделе мы рассмотрим несколько техник prompting. Первая заключается в добавлении более конкретных инструкций к prompt. Чем больше инструкций вы предоставляете в prompt, тем ближе вы можете подойти к требуемому ответу. Ограничение на длину prompt зависит от максимальной длины контекста, которую может поддерживать модель (в случае Command R/R+ это 128k tokens).

План урока

1. Настройка
2. Базовая генерация текста
3. Prompt engineering
4. Параметры для управления выводом
5. Генерация структурированного вывода
6. Потоковые ответы
7. Заключение