О чём урок
В этом notebook мы покажем, как можно использовать LlamaIndex с Mistral API для выполнения сложных запросов по нескольким документам, включая ответы на вопросы, требующие одновременного обращения к нескольким документам. Мы сделаем это с помощью ReAct agent — автономного LLM-powered agent, способного использовать tools.
Сначала установим необходимые зависимости. Нам понадобятся LlamaIndex, Mistral и PDF-парсер для дальнейшей работы.
Теперь настроим подключение к Mistral. Нам понадобятся две вещи:
- LLM для ответов на вопросы
- embedding model для преобразования наших данных в векторы для извлечения нашим index. К счастью, Mistral предоставляет и то, и другое!
После того как мы их получим, мы поместим их в ServiceContext — объект, который LlamaIndex использует для передачи конфигурации.
Теперь загрузим наш dataset — 3 очень больших PDF-файла, содержащих годовые отчеты Lyft за 2020–2022 годы.
Теперь, когда у нас есть данные, мы выполним три действия:
- Загрузим PDF-данные в память. При этом они будут преобразованы в текст. За это отвечает строка load_data().
- Проиндексируем данные. Это создаст векторное представление каждого документа. За это отвечает строка from_documents(). Она хранит векторы в памяти.
- Настроим query engine для извлечения информации из vector store и передачи ее в LLM. За это отвечает строка as_query_engine().
Мы сделаем это один раз для каждого из трех документов. Если бы документов было больше трех, мы бы сделали это программно с помощью цикла, но так код остается очень простым, хотя и немного повторяющимся. В конце мы включили запрос к одному из index в качестве теста.
Успех! index за 2022 год знает факты о 2022 годе. Мы почти готовы создать наш agent. Прежде чем это сделать, давайте настроим массив tools для использования нашим agent. Это превращает каждый из настроенных нами выше query engine в tool и указывает, в чем каждый engine лучше всего отвечает на вопросы. LLM будет читать эти описания при принятии решения, какой tool использовать.
Теперь мы создаем…
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.