Локальный RAG на Ollama, Mistral и LlamaIndex

О чём урок

В этом notebook мы продемонстрируем, как создать RAG pipeline, используя Ollama, модели Mistral и LlamaIndex. Будут рассмотрены следующие темы: Интеграция Mistral с Ollama и LlamaIndex. Реализация RAG с Ollama и LlamaIndex, используя модель Mistral. Маршрутизация запросов с помощью RouterQueryEngine. Обработка сложных запросов с помощью SubQuestionQueryEngine. Перед запуском этого notebook необходимо настроить Ollama. Пожалуйста, следуйте инструкциям здесь. ассистент: Столица Франции — Париж. Он расположен в северо-центральной части страны и является одним из самых густонаселенных городов Европы. Париж известен своими знаковыми достопримечательностями, такими как Эйфелева башня, Лувр, собор Нотр-Дам и Елисейские поля. Город также известен своей богатой историей, искусством, культурой, модой и кухней. Для демонстрации мы будем использовать отчеты Uber и Lyft 10K SEC. Выручка Uber в 2021 году составила $17 455 миллионов. В предоставленном контексте можно найти, что выручка Lyft за год, закончившийся 31 декабря 2021 года, составила приблизительно $3 208 миллионов (или $3 208 323 тысячи). Мы будем использовать RouterQueryEngine для направления пользовательских запросов к соответствующему index в зависимости от того, относится ли запрос к Uber или Lyft. Uber инвестирует в различные финансовые инструменты, о чем свидетельствуют ссылки на инвестиции и инвестиции по методу долевого участия в предоставленном контексте. Однако конкретные детали о характере или типе этих инвестиций не раскрываются напрямую в предоставленной информации. Чтобы определить точный характер этих инвестиций, необходимо будет просмотреть более подробные разделы финансовой отчетности, такие как Примечание 8 — Инвестиции. Предоставленный контекст указывает на то, что Lyft инвестировал в различные области в 2021 году. К ним относятся разработка и запуск новых предложений и функций платформы, расширение на существующих и новых рынках, постоянные инвестиции в их платформу и взаимодействие с клиентами, усилия по смягчению воздействия пандемии COVID-19, расширение капиталоемких предложений, таких как Light Vehicles, Flexdrive, Lyft Rentals, Lyft Auto Care и Driver Hubs, сервисные центры, ориентированные на водителей, и общественные пространства.

План урока

1. Настройка LLM
2. Выполнение запросов
3. Настройка Embedding Model
4. Загрузка данных
5. Создание Index и Query Engines
6. RouterQueryEngine
7. Создание QueryEngine tools
8. Создание RouterQueryEnine