Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 145 · Текст · ~5 мин

Мониторинг Mistral AI через OpenTelemetry

Урок 145 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Документация | GitHub | Slack

В этом руководстве будет рассмотрен процесс интеграции OpenLIT с Mistral SDK. Простое руководство демонстрирует, как добавление одной строки кода позволяет OpenLIT беспрепятственно отслеживать различные метрики, включая стоимость, токены, prompt'ы, ответы и все действия чата/completion из Mistral SDK с использованием OpenTelemetry.

OpenLIT — это инструмент AI Engineering с открытым исходным кодом, который помогает упростить рабочий процесс разработки ИИ, особенно для Generative AI и LLM. Он оптимизирует такие важные задачи, как экспериментирование с LLM, организация и версионирование prompt'ов, а также безопасная обработка API ключей. Всего одной строкой кода вы можете включить OpenTelemetry-native Observability, предлагая полнофункциональный мониторинг, который включает LLM, векторные базы данных и GPU. Это позволяет разработчикам уверенно создавать функции и приложения ИИ, плавно переходя от тестирования к production.

Этот проект с гордостью следует и поддерживает Semantic Conventions совместно с сообществом OpenTelemetry, постоянно обновляясь в соответствии с последними стандартами в области Observability.

Установите ваш API ключ Mistral в качестве переменной окружения. Если вы еще этого не сделали, зарегистрируйтесь в Mistral. Затем подпишитесь на бесплатный пробный период или тарифный план, после чего вы сможете сгенерировать API ключ.

После инициализации OpenLIT в приложении он автоматически инструментирует все вызовы функций чата Mistral из SDK. Это помогает отслеживать взаимодействия LLM, фиксируя входные данные, выходные данные, параметры модели, а также стоимость.

После инициализации OpenLIT в приложении он автоматически инструментирует все вызовы функций embedding Mistral из SDK. Это помогает отслеживать входные данные embedding, выходные данные, параметры модели, а также стоимость.

По умолчанию OpenLIT генерирует трассировки и метрики OpenTelemetry, которые выводятся в вашу консоль. Для настройки детальной среды мониторинга в этом руководстве описывается, как развернуть OpenLIT и направить туда все трассировки и метрики. Вы также можете отправлять данные телеметрии на любую OpenTelemetry-совместимую конечную точку, такую как Grafana, Jaeger или DataDog.

  1. Клонируйте репозиторий OpenLIT Откройте терминал или командную строку и выполните:
  2. Разверните самостоятельно с помощью Docker Разверните…

План урока

  1. Об OpenLIT
  2. Завершения чата
  3. Эмбеддинги
  4. Развертывание стека OpenLIT
  5. Визуализируйте и оптимизируйте!

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды