Подключаем Langfuse к Mistral AI SDK

О чём урок

Документация | GitHub | Discord В этом руководстве представлены пошаговые примеры интеграции Langfuse с Mistral AI SDK (v1) на Python. Следуя этим примерам, вы научитесь беспрепятственно логировать и отслеживать взаимодействия с языковыми моделями Mistral, повышая прозрачность, отлаживаемость и возможности мониторинга производительности ваших приложений на базе ИИ. Примечание: Langfuse также нативно интегрирован с LangChain, LlamaIndex, LiteLLM и другими фреймворками. Если вы используете один из них, любое использование моделей Mistral будет инструментировано немедленно. В этом notebook мы рассмотрим различные сценарии использования, где Langfuse может быть интегрирован с Mistral AI SDK, включая: Базовые вызовы LLM: Узнайте, как обернуть стандартные взаимодействия с моделью Mistral декоратором @observe от Langfuse для всестороннего логирования. Цепочечные вызовы функций: Посмотрите, как управлять и наблюдать за сложными рабочими процессами, где несколько взаимодействий модели связаны друг с другом для получения конечного результата. Поддержка асинхронности и Streaming: Узнайте, как использовать Langfuse с асинхронными и streaming ответами от моделей Mistral, обеспечивая полную трассируемость взаимодействий в реальном времени и параллельных взаимодействий. Вызов функций (Function Calling): Поймите, как реализовать и наблюдать за интеграциями внешних инструментов с Mistral, позволяя модели взаимодействовать с пользовательскими функциями и API. Для получения более подробной информации о Mistral SDK или декораторе @observe от Langfuse, пожалуйста, обратитесь к репозиторию Mistral SDK и документации Langfuse. Langfuse — это платформа для LLM-инжиниринга с открытым исходным кодом. Она включает в себя такие функции, как traces, evals и управление prompt'ами, чтобы помочь вам отлаживать и улучшать ваше LLM-приложение. Зарегистрируйтесь в Langfuse, если вы еще этого не сделали. Скопируйте ваши API ключи из настроек проекта и добавьте их в ваше окружение. Установите ваш API ключ Mistral в качестве переменной окружения. Если вы еще этого не сделали, зарегистрируйтесь на Mistral. Затем подпишитесь на бесплатный пробный период или тарифный план, после чего вы сможете сгенерировать API ключ.

План урока

1. Обзор
2. Что такое Langfuse?
3. Настройка
4. Примеры
5. 1. Завершения (Completions)
6. 1.1 Простой пример
7. 1.2 Цепочечные завершения (Chained Completions)
8. 2. Streaming завершения