Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 48 · Текст · ~5 мин

Эмбеддинги кода Mistral: оценка качества поиска

Урок 48 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует пайплайн для эмбеддинга кода, разбиения на чанки, индексирования, поиска и оценки с использованием Mistral API, FAISS и датасета SWE-bench Lite.

Он использует модель эмбеддинга кода Mistral codestral-embed для генерации эмбеддингов кода и FAISS для быстрого поиска по сходству. Рабочий процесс включает выравнивание структур репозиториев, разбиение файлов кода на более мелкие сегменты (чанки) и генерацию эмбеддингов для каждого чанка. Эти эмбеддинги индексируются для обеспечения эффективного поиска релевантных фрагментов кода в ответ на запросы пользователей. Notebook оценивает производительность поиска на датасете SWE-bench Lite, используя метрики recall для измерения эффективности. Эта методология особенно ценна для таких приложений, как поиск кода, понимание кода и автоматизированное обслуживание программного обеспечения.

Установите необходимые пакеты для эмбеддинга кода, поиска и работы с датасетами.

Импортируйте необходимые библиотеки и инициализируйте токенизатор для эмбеддинга кода.

Настройте ваш API ключ Mistral для аутентификации.

Определите параметры для эмбеддинга кода и разбиения на чанки.

План урока

  1. Настройка окружения
  2. Импорты и инициализация токенизатора
  3. Настройка API ключа
  4. Конфигурация эмбеддинга и разбиения на чанки

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды