Мониторинг Mistral AI через OpenTelemetry

О чём урок

Документация | GitHub | Slack В этом руководстве будет рассмотрен процесс интеграции OpenLIT с Mistral SDK. Простое руководство демонстрирует, как добавление одной строки кода позволяет OpenLIT беспрепятственно отслеживать различные метрики, включая стоимость, токены, prompt'ы, ответы и все действия чата/completion из Mistral SDK с использованием OpenTelemetry. OpenLIT — это инструмент AI Engineering с открытым исходным кодом, который помогает упростить рабочий процесс разработки ИИ, особенно для Generative AI и LLM. Он оптимизирует такие важные задачи, как экспериментирование с LLM, организация и версионирование prompt'ов, а также безопасная обработка API ключей. Всего одной строкой кода вы можете включить OpenTelemetry-native Observability, предлагая полнофункциональный мониторинг, который включает LLM, векторные базы данных и GPU. Это позволяет разработчикам уверенно создавать функции и приложения ИИ, плавно переходя от тестирования к production. Этот проект с гордостью следует и поддерживает Semantic Conventions совместно с сообществом OpenTelemetry, постоянно обновляясь в соответствии с последними стандартами в области Observability. Установите ваш API ключ Mistral в качестве переменной окружения. Если вы еще этого не сделали, зарегистрируйтесь в Mistral. Затем подпишитесь на бесплатный пробный период или тарифный план, после чего вы сможете сгенерировать API ключ. После инициализации OpenLIT в приложении он автоматически инструментирует все вызовы функций чата Mistral из SDK. Это помогает отслеживать взаимодействия LLM, фиксируя входные данные, выходные данные, параметры модели, а также стоимость. После инициализации OpenLIT в приложении он автоматически инструментирует все вызовы функций embedding Mistral из SDK. Это помогает отслеживать входные данные embedding, выходные данные, параметры модели, а также стоимость. По умолчанию OpenLIT генерирует трассировки и метрики OpenTelemetry, которые выводятся в вашу консоль. Для настройки детальной среды мониторинга в этом руководстве описывается, как развернуть OpenLIT и направить туда все трассировки и метрики. Вы также можете отправлять данные телеметрии на любую OpenTelemetry-совместимую конечную точку, такую как Grafana, Jaeger или DataDog.

План урока

1. Об OpenLIT
2. Завершения чата
3. Эмбеддинги
4. Развертывание стека OpenLIT
5. Визуализируйте и оптимизируйте!