Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 49 · Текст · ~5 мин

Переносим громоздкие промпты на Command R с RAG

Урок 49 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Command-A — это мощная LLM, оптимизированная для задач с длинным контекстом, таких как генерация с дополненной выборкой (RAG). Перенос монолитной задачи, такой как ответы на вопросы или суммаризация по запросу, на RAG может улучшить качество ответов за счет уменьшения галлюцинаций и повышения лаконичности благодаря обоснованию.

Ранее перенос существующего сценария использования на RAG требовал много ручной работы по индексации документов, реализации как минимум базовой стратегии поиска, обширной постобработки для обеспечения надлежащего обоснования с помощью цитат и, конечно же, тонкой настройки LLM для эффективной работы в парадигме RAG.

Этот сборник рецептов демонстрирует автоматическую миграцию монолитных промптов на примере двух различных сценариев использования, где исходный промпт разбивается на две части: (1) контекст; и (2) инструкции. Первая часть может быть выполнена автоматически или с помощью простого разбиения на фрагменты, в то время как вторая выполняется автоматически Command A посредством однократной оптимизации промпта.

Здесь демонстрируются два сценария использования:

  1. Помощник по автобиографии; и
  2. Ответы на юридические вопросы

Этот сценарий применения является распространенным случаем использования LLM в качестве помощника. Имея некоторый контекст, помогите пользователю выполнить задачу. В данном случае задача состоит в написании краткого автобиографического резюме.

Используя Command A, мы можем автоматически обновить исходный промпт до промпта в стиле RAG, чтобы добиться более точного соблюдения инструкций, более четкого и лаконичного промпта, а также получить встроенные цитаты бесплатно. Рассмотрим следующий мета-промпт:

Command A возвращает следующее:

Чтобы извлечь возвращенную информацию, мы напишем две простые функции для постобработки JSON и его последующего парсинга.

Как видно выше, новый промпт гораздо более лаконичен и сразу переходит к сути. Контекст был разделен на 4 «документа», на которые Command A может основывать информацию. Теперь давайте выполним ту же задачу с новым промптом, используя параметр documents=. Обратите внимание, что переменная docs представляет собой список объектов dict с title, описывающим содержимое текста, и snippet, содержащим сам текст:

Ответ лаконичен. Что еще более важно, мы можем гарантировать отсутствие…

План урока

  1. Помощник по автобиографии
  2. Ответы на юридические вопросы

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды