Работа с моделями Mistral

Цели урока

• О различных моделях Mistral.
• О сценариях использования каждой модели.
• Примеры кода, демонстрирующие уникальные возможности каждой модели.

О чём урок

Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure OpenAI или GitHub Models. Те же запросы можно отправлять через OpenAI API или другой OpenAI-совместимый сервис: замените клиент, адрес сервиса, название модели и ключ на свои и сверьтесь с документацией выбранного провайдера. В этом уроке вы узнаете: В этом уроке мы рассмотрим три модели Mistral: Mistral Large, Mistral Small и Mistral NeMo. Каждая из этих моделей доступна бесплатно на Microsoft Foundry Models. Код в этом блокноте будет использовать именно эти модели. Примечание: GitHub Models будет выведен из эксплуатации в конце июля 2026 года. Подробнее об использовании Microsoft Foundry Models для прототипирования моделей ИИ. Mistral Large 2: флагманская модель Mistral, разработанная для корпоративного использования. Эта модель представляет собой улучшенную версию оригинальной Mistral Large, предлагая: Увеличенное окно контекста: 128k против 32k. Повышенную производительность в математических задачах и задачах кодирования: средняя точность 76,9% против 60,4%. Улучшенную многоязычную производительность: поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, голландский, русский, китайский, японский, корейский, арабский и хинди языки. Благодаря этим возможностям, Mistral Large отлично подходит для: Retrieval Augmented Generation (RAG): благодаря увеличенному окну контекста. Вызова функций: эта модель имеет встроенную функцию вызова, что позволяет интегрироваться с внешними инструментами и API. Эти вызовы могут выполняться как параллельно, так и последовательно. Генерации кода: эта модель превосходно генерирует код на Python, Java, TypeScript и C++. В этом примере мы используем Mistral Large 2 для реализации паттерна RAG на текстовом документе. Вопрос написан на корейском языке и касается деятельности автора до поступления в колледж. Для создания эмбеддингов текстового документа и вопроса используется модель Cohere Embeddings. В этом примере в качестве векторного хранилища используется пакет faiss для Python. Промпт, отправляемый модели Mistral, включает как вопросы, так и извлечённые фрагменты, похожие на вопрос. Затем модель предоставляет ответ на естественном языке.

План урока

1. Введение
2. Модели Mistral
3. Mistral Large 2 (2407)
4. Пример RAG с использованием Mistral Large 2
5. Mistral Small
6. Сравнение Mistral Small и Mistral Large
7. Mistral NeMo
8. Сравнение токенизаторов