Агентный многоэтапный RAG на Tools API

О чём урок

Генерация с дополненным поиском (RAG) стала популярным вариантом использования, который предприятия внедряют с большими языковыми моделями (LLM). Хотя в целом она работает хорошо, существуют пограничные случаи, когда она может давать сбои. Чаще всего, когда извлеченный документ упоминает запрос, но на самом деле ссылается на другой документ, модель не сможет сгенерировать правильный ответ. Мы предлагаем агентскую систему RAG, которая использует инструменты для продолжения извлечения документов, если правильные документы не были извлечены с первой попытки. Это идеально подходит для случаев использования, где точность является наивысшим приоритетом, а задержка — нет. Например, юристы, пытающиеся найти наиболее точный ответ в своих контрактах, готовы подождать еще несколько секунд, чтобы получить ответ, вместо того чтобы быстро получать неверные ответы. В этом блокноте мы рассмотрим, как можно построить простую агентскую систему RAG, используя нативный API Cohere. Мы подготовили фиктивный набор данных для демонстрации варианта использования. Мы задаем три вопроса, которые требуют разной глубины извлечения. Мы увидим, как модель отвечает на вопрос между простой и агентской RAG. Одна из проблем при создании системы RAG заключается в том, что она состоит из множества движущихся частей: векторная база данных, тип модели embedding, использование reranker, количество извлеченных документов, стратегия chunking и многое другое. Эти компоненты могут затруднить отладку и оценку систем RAG. Поскольку этот блокнот сосредоточен на концепции агентской RAG, он упростит другие части системы RAG. Например, мы будем извлекать только 1 лучший документ, чтобы продемонстрировать, что происходит, когда извлеченный документ не содержит необходимого ответа. Тип Вопрос Простой Rag Агентский Rag Одноступенчатое извлечение Существует ли закон на уровне штата об обязательном ношении шлемов? В настоящее время нет закона штата, требующего использования шлемов при езде на велосипеде. Однако некоторые города и округа требуют использования шлемов. В настоящее время нет закона штата, требующего использования шлемов. Однако некоторые города и округа требуют использования шлемов при езде на велосипедах.

План урока

1. Мотивация
2. Цель
3. Отказ от ответственности
4. Результат
5. Настройка
6. Данные
7. Инструменты
8. Функция RAG