Адаптивный RAG на LlamaIndex

О чём урок

Пользовательские запросы в целом могут быть как сложными, так и простыми. Не всегда требуется сложная RAG-система даже для обработки простых запросов. Адаптивный RAG предлагает подход для обработки как сложных, так и простых запросов. В этом notebook мы реализуем подход, аналогичный Adaptive RAG, который различает обработку сложных и простых запросов. Мы сосредоточимся на отчетах Lyft 10k SEC за 2020, 2021 и 2022 годы. Наш подход будет включать использование RouterQueryEngine и возможностей FunctionCalling от MistralAI для вызова различных инструментов или индексов в зависимости от сложности запроса. Сложные запросы: Они будут использовать несколько инструментов, требующих контекста из нескольких документов. Простые запросы: Они будут использовать один инструмент, требующий контекста из одного документа, или напрямую использовать LLM для предоставления ответа. Ниже приведены шаги, которым мы следуем: данных. данных в память. Создание индексов для 3 документов. Создание движков запросов с документами и LLM. Инициализация FunctionCallingAgentWorker для сложных запросов. Создание инструментов. Создание RouterQueryEngine — для маршрутизации запросов на основе их сложности. Выполнение запросов. Мы загрузим отчеты Lyft 10k SEC за 2020, 2021 и 2022 годы. Движок запросов для LLM. С его помощью мы будем использовать LLM для ответа на запрос. Мы создадим инструменты, используя QueryEngines и FunctionCallingAgentWorker, созданные ранее. RouterQueryEngine будет маршрутизировать пользовательские запросы для выбора одного из инструментов на основе сложности запроса. Вы можете видеть, что был использован инструмент LLM, поскольку это общий запрос. Столица Франции — Париж. Известный как «Город Света», Париж славится своими знаковыми достопримечательностями, такими как Эйфелева башня, Лувр, собор Нотр-Дам и многие другие. Это мировой центр искусства, моды, гастрономии и культуры. Вы можете видеть, что для ответа на запрос был использован инструмент lyft_2022. В 2022 году Lyft целенаправленно инвестировала в исследования и разработки, хотя конкретные детали этих инвестиций в контексте не приводятся. Эти инвестиции являются частью их постоянного стремления к запуску новых инноваций на своей платформе.

План урока

1. Установка
2. Настройка API Key
3. Настройка LLM и Embedding Model
4. Логирование
5. Загрузка данных
6. Загрузка данных в память
7. Создание индексов
8. Создание движков запросов