Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 161 · Текст · ~5 мин

Score production traffic with online evaluations

Урок 161 из 161 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Подключите LLM-судей к трейсам вашего приложения, чтобы каждый подходящий span оценивался автоматически, а затем считывайте оценки, чтобы находить слабые ответы и исправлять их.

Public Preview. Онлайн-оценки входят в состав Observability и доступны только организациям уровня Enterprise. API может измениться в период предварительной версии.

Онлайн-оценка запускает LLM-судей на продакшн-трафике без изменений кода в пути запроса. Вы настраиваете два объекта:

  • Scorer — это переиспользуемый судья: модель, шаблон промпта и тип выходных данных.
  • Live eval выбирает, какие span оценивать, и подключает к ним один или несколько scorer, каждый со своей частотой выборки.

Ваше приложение отправляет в Mistral спаны OpenTelemetry. Вскоре после приёма каждый выбранный span оценивается, а оценка записывается обратно как телеметрия, привязанная к span. После этого вы можете искать оценки, агрегировать их и открывать оцененный span из его трейса.

В этом cookbook вы создадите небольшого ассистента поддержки, подключите к его трафику судью полезности и детектор извинений, а затем считаете результаты.

Для работы с этим cookbook вам понадобятся:

  • Python 3.10 или новее
  • Аккаунт Mistral уровня Enterprise и пользовательский API-ключ (ключи сервисных аккаунтов не могут создавать live eval)
  • Роль Workspace Admin или Observability Viewer в рабочем пространстве, чтобы создавать live eval и читать их результаты

В этом разделе устанавливаются SDK и настраивается ваш API-ключ.

Установите Mistral Python SDK и Mistral OpenTelemetry SDK, который записывает вызовы вашего приложения в виде спанов:

Для работы с этим cookbook вам понадобится API-ключ Mistral. В Studio перейдите в раздел API keys и создайте новый API-ключ.

Либо задайте MISTRAL_API_KEY как переменную окружения перед запуском ноутбука, либо оставьте её незаданной и введите ключ, когда его запросит следующая ячейка.

Инициализируйте клиент. SERVICE_NAME помечает каждый span, который отправляет этот ноутбук, поэтому live eval оценивает только трафик этого ноутбука.

Scorer определяет, как оценивать, а не что оценивать. Его промпт — это шаблон Jinja2: каждая переменная, которую вы не определили, например {{ question }}, становится…

План урока

  1. Предварительные требования
  2. Настройка окружения
  3. Установка
  4. Необходимые переменные окружения
  5. 1. Создание scorer
  6. 2. Создание live eval
  7. 3. Отправка трафика
  8. 4. Чтение оценок

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 79 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды