Наблюдаемость с Maxim

О чём урок

В этом руководстве мы покажем, как использовать Maxim для наблюдения за вызовами LLM Mistral и метриками. Maxim AI обеспечивает всестороннюю наблюдаемость для ваших AI-приложений на базе Mistral. Благодаря однострочной интеграции Maxim вы можете легко отслеживать и анализировать вызовы LLM, метрики и многое другое. Преимущества: Аналитика производительности: Отслеживайте задержку, потребленные токены и затраты Расширенная визуализация: Понимайте траектории агентов с помощью интуитивно понятных дашбордов Вам необходимо установить пакеты mistralai и maxim-py из pypy Вы можете зарегистрироваться на Maxim и создать новый API Key в разделе Settings. После этого перейдите в раздел Logs и создайте новый Log Repository, вы получите Log Repository Id. Также подготовьте ваш Mistral API Key. Создайте экземпляр Maxim Logger Выполните вызов к Mistral через Mistral API Client, предоставленный Maxim, определите модель, которую хотите использовать, и список сообщений. Чтобы проверить логи, которыми Mistral SDK обменивается с Maxim: Перейдите в раздел Logs на платформе Maxim Перейдите в соответствующий Log Repository, который вы создали. Переключитесь на Logs в верхней вкладке и проанализируйте полученные traces Если у вас есть какие-либо отзывы или запросы, пожалуйста, создайте GitHub Issue.

План урока

1. Что такое Maxim?
2. Установка и импорт необходимых модулей
3. Установка переменных окружения
4. Инициализация логгера
5. Выполнение вызовов LLM с использованием MaximMistralClient
6. Асинхронный вызов LLM