О чём урок
Docs | GitHub | Discord
В этом руководстве мы покажем, как использовать Maxim для наблюдения за вызовами LLM Mistral и метриками.
Maxim AI обеспечивает всестороннюю наблюдаемость для ваших AI-приложений на базе Mistral. Благодаря однострочной интеграции Maxim вы можете легко отслеживать и анализировать вызовы LLM, метрики и многое другое.
Преимущества:
- Аналитика производительности: Отслеживайте задержку, потребленные токены и затраты
- Расширенная визуализация: Понимайте траектории агентов с помощью интуитивно понятных дашбордов
Вам необходимо установить пакеты mistralai и maxim-py из pypy
Вы можете зарегистрироваться на Maxim и создать новый API Key в разделе Settings. После этого перейдите в раздел Logs и создайте новый Log Repository, вы получите Log Repository Id. Также подготовьте ваш Mistral API Key.
Создайте экземпляр Maxim Logger
Выполните вызов к Mistral через Mistral API Client, предоставленный Maxim, определите модель, которую хотите использовать, и список сообщений.
Чтобы проверить логи, которыми Mistral SDK обменивается с Maxim:
- Перейдите в раздел Logs на платформе Maxim
- Перейдите в соответствующий Log Repository, который вы создали.
- Переключитесь на Logs в верхней вкладке и проанализируйте полученные traces
Если у вас есть какие-либо отзывы или запросы, пожалуйста, создайте GitHub Issue.
План урока
- Что такое Maxim?
- Установка и импорт необходимых модулей
- Установка переменных окружения
- Инициализация логгера
- Выполнение вызовов LLM с использованием MaximMistralClient
- Асинхронный вызов LLM
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.