RAG-приложение на Milvus Lite, Mistral и LlamaIndex

О чём урок

В этом notebook мы покажем, как можно создать приложение Retrieval Augmented Generation (RAG) для взаимодействия с данными Французского парламента. Оно использует Ollama с Mistral для операций LLM, Llama-index для оркестрации и Milvus для векторного хранения. Убедитесь, что Ollama установлена и запущена на вашем ноутбуке --> https://ollama.com/ Примечание: Запустите этот cell, только если вы еще не клонировали репозиторий. Убедитесь, что вы создали API Key на платформе Mistral и загрузили его как переменную окружения. В этом руководстве мы загружаем переменную окружения, хранящуюся в нашем файле .env. Этот код позволяет обрабатывать текстовые embeddings, используя Mistral Embed & Mistral-7B, и сохранять их в Milvus. !!Убедитесь, что Ollama запущена на вашем ноутбуке!! Инициализирует модель Mistral-7B с помощью Ollama Service Context: Настраивает service context с Mistral и определенной выше моделью embedding Vector Store: Настраивает коллекцию в Milvus для хранения текстовых embeddings, указывая файл базы данных, имя коллекции, размерность вектора Storage Context: Настраивает storage context с Milvus vector store Это обеспечивает эффективное хранение и извлечение векторных embeddings для текстовых данных. Если вы предпочитаете не запускать модели локально или нуждаетесь в более мощных моделях, вы можете использовать API Mistral вместо Ollama. API предлагает: Доступ к более мощным моделям, таким как mistral-large и mistral-small Отсутствие локальных требований к GPU/CPU Стабильная производительность и надежность Развертывание, готовое к production Сначала убедитесь, что вы создали API Key на платформе Mistral. Остальная часть настройки с использованием Milvus останется прежней.

План урока

1. Установка Ollama
2. Установка различных зависимостей
3. Загрузка данных
4. Использование Mistral Embedding
5. Подготовка данных для хранения в Milvus
6. Использование Mistral AI API
7. Обработка и загрузка данных
8. Наконец, задайте вопросы нашей RAG-системе