Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 17 · Текст · ~5 мин

Агентный многоэтапный RAG на Tools API

Урок 17 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Генерация с дополненным поиском (RAG) стала популярным вариантом использования, который предприятия внедряют с большими языковыми моделями (LLM). Хотя в целом она работает хорошо, существуют пограничные случаи, когда она может давать сбои. Чаще всего, когда извлеченный документ упоминает запрос, но на самом деле ссылается на другой документ, модель не сможет сгенерировать правильный ответ.

Мы предлагаем агентскую систему RAG, которая использует инструменты для продолжения извлечения документов, если правильные документы не были извлечены с первой попытки. Это идеально подходит для случаев использования, где точность является наивысшим приоритетом, а задержка — нет. Например, юристы, пытающиеся найти наиболее точный ответ в своих контрактах, готовы подождать еще несколько секунд, чтобы получить ответ, вместо того чтобы быстро получать неверные ответы.

В этом блокноте мы рассмотрим, как можно построить простую агентскую систему RAG, используя нативный API Cohere. Мы подготовили фиктивный набор данных для демонстрации варианта использования. Мы задаем три вопроса, которые требуют разной глубины извлечения. Мы увидим, как модель отвечает на вопрос между простой и агентской RAG.

Одна из проблем при создании системы RAG заключается в том, что она состоит из множества движущихся частей: векторная база данных, тип модели embedding, использование reranker, количество извлеченных документов, стратегия chunking и многое другое. Эти компоненты могут затруднить отладку и оценку систем RAG. Поскольку этот блокнот сосредоточен на концепции агентской RAG, он упростит другие части системы RAG. Например, мы будем извлекать только 1 лучший документ, чтобы продемонстрировать, что происходит, когда извлеченный документ не содержит необходимого ответа.

Как вы увидите ниже, многоступенчатое извлечение достигается путем добавления новой функции reference_extractor(), которая извлекает другие ссылки в документах и обновляет инструкцию, чтобы агент продолжал извлекать больше документов.

Мы использовали данные из Департамента транспорта штата Вашингтон и изменили их для нужд этой демонстрации.

Следующие функции и инструменты будут использоваться в последующих задачах.

Здесь мы задаем вопрос, на который легко ответить с помощью одноступенчатого извлечения.

Второй вопрос требует…

План урока

  1. Мотивация
  2. Цель
  3. Отказ от ответственности
  4. Результат
  5. Настройка
  6. Данные
  7. Инструменты
  8. Функция RAG

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды