О чём урок
В этом notebook мы покажем, как можно создать приложение Retrieval Augmented Generation (RAG) для взаимодействия с данными Французского парламента. Оно использует Ollama с Mistral для операций LLM, Llama-index для оркестрации и Milvus для векторного хранения.
Убедитесь, что Ollama установлена и запущена на вашем ноутбуке --> https://ollama.com/
Примечание: Запустите этот cell, только если вы еще не клонировали репозиторий.
Убедитесь, что вы создали API Key на платформе Mistral и загрузили его как переменную окружения.
В этом руководстве мы загружаем переменную окружения, хранящуюся в нашем файле .env.
Этот код позволяет обрабатывать текстовые embeddings, используя Mistral Embed & Mistral-7B, и сохранять их в Milvus.
!!Убедитесь, что Ollama запущена на вашем ноутбуке!!
- Инициализирует модель Mistral-7B с помощью Ollama
- Service Context: Настраивает service context с Mistral и определенной выше моделью embedding
- Vector Store: Настраивает коллекцию в Milvus для хранения текстовых embeddings, указывая файл базы данных, имя коллекции, размерность вектора
- Storage Context: Настраивает storage context с Milvus vector store
Это обеспечивает эффективное хранение и извлечение векторных embeddings для текстовых данных.
Если вы предпочитаете не запускать модели локально или нуждаетесь в более мощных моделях, вы можете использовать API Mistral вместо Ollama. API предлагает:
- Доступ к более мощным моделям, таким как mistral-large и mistral-small
- Отсутствие локальных требований к GPU/CPU
- Стабильная производительность и надежность
- Развертывание, готовое к production
Сначала убедитесь, что вы создали API Key на платформе Mistral.
Остальная часть настройки с использованием Milvus останется прежней.
План урока
- Установка Ollama
- Установка различных зависимостей
- Загрузка данных
- Использование Mistral Embedding
- Подготовка данных для хранения в Milvus
- Использование Mistral AI API
- Обработка и загрузка данных
- Наконец, задайте вопросы нашей RAG-системе
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.