Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 117 · Текст · ~5 мин

RAG-приложение на Milvus Lite, Mistral и LlamaIndex

Урок 117 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook мы покажем, как можно создать приложение Retrieval Augmented Generation (RAG) для взаимодействия с данными Французского парламента. Оно использует Ollama с Mistral для операций LLM, Llama-index для оркестрации и Milvus для векторного хранения.

Убедитесь, что Ollama установлена и запущена на вашем ноутбуке --> https://ollama.com/

Примечание: Запустите этот cell, только если вы еще не клонировали репозиторий.

Убедитесь, что вы создали API Key на платформе Mistral и загрузили его как переменную окружения.

В этом руководстве мы загружаем переменную окружения, хранящуюся в нашем файле .env.

Этот код позволяет обрабатывать текстовые embeddings, используя Mistral Embed & Mistral-7B, и сохранять их в Milvus.

!!Убедитесь, что Ollama запущена на вашем ноутбуке!!

  • Инициализирует модель Mistral-7B с помощью Ollama
  • Service Context: Настраивает service context с Mistral и определенной выше моделью embedding
  • Vector Store: Настраивает коллекцию в Milvus для хранения текстовых embeddings, указывая файл базы данных, имя коллекции, размерность вектора
  • Storage Context: Настраивает storage context с Milvus vector store

Это обеспечивает эффективное хранение и извлечение векторных embeddings для текстовых данных.

Если вы предпочитаете не запускать модели локально или нуждаетесь в более мощных моделях, вы можете использовать API Mistral вместо Ollama. API предлагает:

  • Доступ к более мощным моделям, таким как mistral-large и mistral-small
  • Отсутствие локальных требований к GPU/CPU
  • Стабильная производительность и надежность
  • Развертывание, готовое к production

Сначала убедитесь, что вы создали API Key на платформе Mistral.

Остальная часть настройки с использованием Milvus останется прежней.

План урока

  1. Установка Ollama
  2. Установка различных зависимостей
  3. Загрузка данных
  4. Использование Mistral Embedding
  5. Подготовка данных для хранения в Milvus
  6. Использование Mistral AI API
  7. Обработка и загрузка данных
  8. Наконец, задайте вопросы нашей RAG-системе

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды