Mistral AI в LlamaIndex: первые шаги

О чём урок

В этом notebook мы покажем, как можно использовать LlamaIndex с Mistral API для выполнения сложных запросов по нескольким документам, включая ответы на вопросы, требующие одновременного обращения к нескольким документам. Мы сделаем это с помощью ReAct agent — автономного LLM-powered agent, способного использовать tools. Сначала установим необходимые зависимости. Нам понадобятся LlamaIndex, Mistral и PDF-парсер для дальнейшей работы. Теперь настроим подключение к Mistral. Нам понадобятся две вещи: LLM для ответов на вопросы embedding model для преобразования наших данных в векторы для извлечения нашим index. К счастью, Mistral предоставляет и то, и другое! После того как мы их получим, мы поместим их в ServiceContext — объект, который LlamaIndex использует для передачи конфигурации. Теперь загрузим наш dataset — 3 очень больших PDF-файла, содержащих годовые отчеты Lyft за 2020–2022 годы. Теперь, когда у нас есть данные, мы выполним три действия: Загрузим PDF-данные в память. При этом они будут преобразованы в текст. За это отвечает строка load_data(). Проиндексируем данные. Это создаст векторное представление каждого документа. За это отвечает строка from_documents(). Она хранит векторы в памяти. Настроим query engine для извлечения информации из vector store и передачи ее в LLM. За это отвечает строка as_query_engine(). Мы сделаем это один раз для каждого из трех документов. Если бы документов было больше трех, мы бы сделали это программно с помощью цикла, но так код остается очень простым, хотя и немного повторяющимся. В конце мы включили запрос к одному из index в качестве теста. Успех! index за 2022 год знает факты о 2022 годе. Мы почти готовы создать наш agent. Прежде чем это сделать, давайте настроим массив tools для использования нашим agent. Это превращает каждый из настроенных нами выше query engine в tool и указывает, в чем каждый engine лучше всего отвечает на вопросы. LLM будет читать эти описания при принятии решения, какой tool использовать.